Merge pull request #14429 from rgacogne/ddist-xsk-backend-race

dnsdist: Fix a race in the XSK/AF_XDP backend handling code

dnsdist: Avoid a double lookup when UMEM state debugging is enabled

dnsdist: Set the shared XSK frames in the XskWorker constructor

Merge pull request #14456 from omoerbeek/ci-build-rec-51

rec: move to rec-5.1.x for builder-releases-dispatch.yml as well

Merge pull request #14430 from omoerbeek/rec-sanitize

rec: refactor sanitizeRecords and fix order dependency

As noted by rgacogne: additional record type check can be done in first pass

Merge pull request #14453 from omoerbeek/rec-prep-5.1.0

rec: prep for rec-5.1.0

rec: move to rec-5.1.x for builder-releases-dispatch.yml as well

Missed in #14441

Merge pull request #14451 from omoerbeek/rec-docs-not-quiet

rec: document log lines produced by logging.quiet set to false

Merge pull request #14454 from Habbie/catalog-order-by

auth catalogs SQL: force order of domains to avoid spurious rehashes

Merge pull request #14443 from PowerDNS/dependabot/pip/pdns/recursordist/docs/certifi-2024.7.4

build(deps): bump certifi from 2024.2.2 to 2024.7.4 in /pdns/recursordist/docs

Apply text suggestions from @rgacogne

auth catalogs SQL: force order of domains to avoid spurious rehashes

fixes #13963

Merge pull request #14448 from Habbie/daily-master-packages

gh actions: daily master build of packages

rec: prep for rec-5.1.0

rec: document log lines produced by logging.quiet set to false

Fixes #14440

gh actions: daily master build of packages

dnsdist: Fix wrong assertions in AF_XDP/XSK code

build(deps): bump certifi in /pdns/recursordist/docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.2.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.02.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14441 from omoerbeek/ci-build-rec-5.1.x-daily

CI: start building rel/rec-5.1.x daily, and drop rel/rec-4.8.x

Merge pull request #14417 from rgacogne/ddist-xsk-doc-script

dnsdist: Better documentation and debug informations for `XSK`/`AF_XDP`

Merge pull request #14398 from rgacogne/ddist-logging-per-thread-ffi

dnsdist: Make the logging functions available to all Lua environments

CI: start building rel/rec-5.1.x daily, and drop rel/rec-4.8.x

Merge pull request #14431 from tjikkun/no_include_engine

Don't include openssl/engine.h if it's not going to be used

dnsdist: Fix code formatting

dnsdist: Make the code used to debug UMEM issues work with multiple queues

dnsdist: Fix a data race in the AF_XDP/XSK dnsdist <-> backend code

The existing code was sharing the same XskWorker between the thread
handling incoming queries (possibly replying right away for
self-answered and cache hit responses) and the one handling responses
coming from a backend (without XSK), which is wrong since the internal
queues are single-producer (and single consumer, but a worker is only
assigned to a single XskRouter which is OK).
This commit introduces a new, separate worker for the threads handling
responses coming from a backend without XSK (it was already the case
for responses coming from a backend via XSK). The new worker is marked
"outgoing-only" to ensure we are not confused about what it can be used
for, which is only sending packets, not receiving any.

Merge pull request #14434 from PowerDNS/dependabot/pip/docs/certifi-2024.7.4

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /docs

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2023.7.22 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2023.07.22...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14433 from PowerDNS/dependabot/pip/pdns/dnsdistdist/docs/certifi-2024.7.4

build(deps): bump certifi from 2024.2.2 to 2024.7.4 in /pdns/dnsdistdist/docs

build(deps): bump certifi in /pdns/dnsdistdist/docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.2.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.02.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14432 from PowerDNS/dependabot/pip/pdns/keyroller/certifi-2024.7.4

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /pdns/keyroller

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /pdns/keyroller

Bumps [certifi](https://github.com/certifi/python-certifi) from 2023.7.22 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2023.07.22...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Don't include openssl/engine.h if it's not going to be used

Split sanitizerecord in two loops to avoid order dependency in authority section

Also avoid some repeated section tests by using nested ifs.

dnsdist: Fix a race in the XSK/AF_XDP backend handling code

For performance reasons we used to keep a local list of available frames
in our `XskWorker` object, like we are doing in the `XskSocket` one,
to avoid having to go to the shared list which is protected by a lock.
Unfortunately, while it works well for the `XskSocket` because it is
accessed by a single `XskRouter` thread, the `XskWorker` object can
be accessed by multiple threads at once: `XskResponderThread`,
`responderThread`, `XskClientThread` and `XskRouter`. Most of the
time these threads do not acquire nor release frames to the local
list, but `responderThread` does acquire one when a response frame
is punted to the regular networking stack, and all of them release
frames when an unexpected condition occurs, for example when a queue
is full. This leads to memory corruption and to a crash.

This commit gets rid of the local list of frames in the `XskWorker`
object, acquiring and releasing them to the shared list instead, since
performance in these cases is likely not as critical. If it turns out
to be too slow, we can look into caching a few frames in a thread-local
list, but then we need to be careful not to hold on them indefinitely
which might be tricky.

Disallow irrelevant SOA records in ANSWER section and adapt test_bogus_does_not_replace_secure_in_the_cache test to not use them

Replace s_redirectionQTypes by a simple function and simplify logging in sanitizeRecords

Add some comments on what's happening in sanitizeRecords,
including a few questions I had when looking at the code

Merge pull request #14425 from aj-gh/recursor-fixtypo1

Recursor: Fix processsing typo.

Merge pull request #14420 from rgacogne/fix-provenance-copy

build-package: Fix copy of the provenance attestations

Fix processsing typo.

Merge pull request #14418 from Habbie/no-el7-arm64

exclude el7 from arm64 in daily package builds

build-package: Fix copy of the provenance attestations

Merge pull request #14419 from omoerbeek/followup-14327

Fix compile error on OPENSSL_VERSION_MAJOR < 3

Fix compile error on OPENSSL_VERSION_MAJOR < 3

../pdns/libssl.cc:637:28: error: no member named 'content' in 'OpenSSLTLSTicketKey'

Merge pull request #14327 from chbruyand/dnsdist-tickets-key-hook

dnsdist: add support for a callback when a new tickets key is added

dnsdist: Use a narrower scope for tickets_key_added_hook

exclude el7 from arm64 in daily package builds

missed this spot in #14406

dnsdist: Fix a typo in the constants documentation

dnsdist: Document how to use ``XSK``/``AF_XDP`` under systemd

dnsdist: Add information, with better formatting, to our XDP script

dnsdist: Use a recursive mutex for the Lua lock

dnsdist: fix build of dnsdist least version

dnsdist: fix gnutls lib flags

Merge pull request #14409 from fredmorcos/various-cleanups

Various cleanups

Merge pull request #14401 from omoerbeek/rec-prep-20240703

rec: Prep for rec-4.9.7 and 5.0.7 releases

Some formatting of pdnsutil.cc

Fix missing includes in lua2api2.hh

dndist: apply Remi's comments, thanks

tidy

Cleanup geoipbackend.cc

Cleanup dnspacket.cc

Formatting and minor fix in misc.hh

Fix config.h include in opensslsigners

Merge pull request #14408 from omoerbeek/rec-throttle-reason

Rec throttle reason

Merge pull request #14406 from Habbie/daily-build-el-7

daily package build: use el-7 target instead of centos-7

Reformat

Merge pull request #14404 from omoerbeek/yahttp-router

Yahttp router: appease coverity wrt unsigned underflow in match()

Merge pull request #14343 from PowerDNS/dependabot/github_actions/docker/build-push-action-6

Bump docker/build-push-action from 5 to 6

Merge pull request #14407 from PowerDNS/dependabot/pip/pdns/dnsdistdist/docs/urllib3-2.2.2

build(deps): bump urllib3 from 2.2.0 to 2.2.2 in /pdns/dnsdistdist/docs

Remember reason we're throttling

build(deps): bump urllib3 from 2.2.0 to 2.2.2 in /pdns/dnsdistdist/docs

Bumps [urllib3](https://github.com/urllib3/urllib3) from 2.2.0 to 2.2.2.
- [Release notes](https://github.com/urllib3/urllib3/releases)
- [Changelog](https://github.com/urllib3/urllib3/blob/main/CHANGES.rst)
- [Commits](https://github.com/urllib3/urllib3/compare/2.2.0...2.2.2)

---
updated-dependencies:
- dependency-name: urllib3
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

daily package build: use el-7 target instead of centos-7

Merge pull request #14399 from rgacogne/pkgs-slsa-dir

build-packages: Upload SLSA attestations to the right directory

Merge pull request #14396 from omoerbeek/tidy-20240627

Tidy sstuf.hh and shuffle.??

Avoid upos underflowing in match loop

no else block after break statement

Merge pull request #14400 from Habbie/el7-on-ol7

switch el7 builds to Oracle Linux 7

Prep for rec-4.9.7 and 5.0.7 releases

Also convert callers of readWithTimeout(), as suggested by @rgacogne

switch el7 builds to Oracle Linux 7

build-packages: Upload SLSA attestations to the right directory

dnsdist: Make the logging functions available to all Lua environments

They were not available to the per-thread FFI rule, action and
load-balancing policy environments.

Untemplatize Throttle class

Tidy sstuff.hh

Note the readWithTimeout() return type change to make things more consistent
Plus some asserted things that caught my eye.

Merge pull request #14395 from rgacogne/ddist-dedup-prometheus-help-type-custom-labels

dnsdist: Dedup Prometheus help and type lines for custom metrics with labels

dnsdist: Do not implicitly convert count()'s `size_type` to `bool`

dnsdist: Dedup Prometheus help and type lines for custom metrics with labels

Merge pull request #14376 from rgacogne/ddist-upstatus-race

dnsdist: Fix a race when accessing a backend health status

Merge pull request #14392 from rgacogne/ddist-quiche-0.22.0

dnsdist: Handle Quiche >= 0.22.0

dnsdist: make sure to acquire lua context lock before calling TicketsKeyAdded callback

Merge pull request #14393 from rgacogne/port-mask

AddressAndPortRange: Make it clearer only low-order bits matter to us

dnsdist: Be consistent when accessing a backend health status

Merge pull request #14387 from omoerbeek/tidy-20240626

Tidy lock.hh, cachecleaner.hh and sholder.hh

Merge pull request #14386 from omoerbeek/rec-coverity-1544951

rec: Fix coverity 1544951 copy_instead_of_move

Merge pull request #14385 from omoerbeek/tidy-axfrtimeout

Tidy AXFRRetriever::timeoutReadn

AddressAndPortRange: Make it clearer only low-order bits matter to us

Hopefully Coverity will take the hint.

dnsdist: Handle Quiche >= 0.22.0

Quiche broke its existing API in 0.22.0: https://github.com/cloudflare/quiche/pull/1726
This pull request adds m4 code to detect whether the Quiche version
we are building against is >= 0.22.0, and if it is defines
`HAVE_QUICHE_STREAM_ERROR_CODES` which is later used by the code
using Quiche to know which version of the API to use.

dnsdist: move the setTicketsKeyAddedHook to a unique callback for every tls context