Merge pull request #14447 from aerique/feature/add-arm64-tests-to-repo-script

Add ARM64 tests to repo script.

Merge pull request #14459 from omoerbeek/rec-docker-yml

rec: provide docker image with yml config file

Merge pull request #14468 from rgacogne/ci-remove-ddist-17x

ci: Stop building rel/dnsdist-1.7.x, as 1.7.x is EOL

Merge pull request #14429 from rgacogne/ddist-xsk-backend-race

dnsdist: Fix a race in the XSK/AF_XDP backend handling code

ci: Stop building rel/dnsdist-1.7.x, as 1.7.x is EOL

dnsdist: Avoid a double lookup when UMEM state debugging is enabled

dnsdist: Set the shared XSK frames in the XskWorker constructor

Merge pull request #14456 from omoerbeek/ci-build-rec-51

rec: move to rec-5.1.x for builder-releases-dispatch.yml as well

Merge pull request #14430 from omoerbeek/rec-sanitize

rec: refactor sanitizeRecords and fix order dependency

Fix example command line

rec: move default Docker config to YAML

As noted by rgacogne: additional record type check can be done in first pass

Really remove `arch=...` from `pdns.list` file.

Add AARCH64 tests for rec-49 and -50.

Merge pull request #14453 from omoerbeek/rec-prep-5.1.0

rec: prep for rec-5.1.0

rec: move to rec-5.1.x for builder-releases-dispatch.yml as well

Missed in #14441

Merge pull request #14451 from omoerbeek/rec-docs-not-quiet

rec: document log lines produced by logging.quiet set to false

Merge pull request #14454 from Habbie/catalog-order-by

auth catalogs SQL: force order of domains to avoid spurious rehashes

Merge pull request #14443 from PowerDNS/dependabot/pip/pdns/recursordist/docs/certifi-2024.7.4

build(deps): bump certifi from 2024.2.2 to 2024.7.4 in /pdns/recursordist/docs

Apply text suggestions from @rgacogne

auth catalogs SQL: force order of domains to avoid spurious rehashes

fixes #13963

Merge pull request #14448 from Habbie/daily-master-packages

gh actions: daily master build of packages

rec: prep for rec-5.1.0

rec: document log lines produced by logging.quiet set to false

Fixes #14440

gh actions: daily master build of packages

Remove `arch=...` from `pdns.list` file.

Add ARM64 tests to repo test script.

dnsdist: Fix wrong assertions in AF_XDP/XSK code

build(deps): bump certifi in /pdns/recursordist/docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.2.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.02.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14441 from omoerbeek/ci-build-rec-5.1.x-daily

CI: start building rel/rec-5.1.x daily, and drop rel/rec-4.8.x

Merge pull request #14417 from rgacogne/ddist-xsk-doc-script

dnsdist: Better documentation and debug informations for `XSK`/`AF_XDP`

Merge pull request #14398 from rgacogne/ddist-logging-per-thread-ffi

dnsdist: Make the logging functions available to all Lua environments

CI: start building rel/rec-5.1.x daily, and drop rel/rec-4.8.x

Merge pull request #14431 from tjikkun/no_include_engine

Don't include openssl/engine.h if it's not going to be used

dnsdist: Fix code formatting

dnsdist: Make the code used to debug UMEM issues work with multiple queues

dnsdist: Fix a data race in the AF_XDP/XSK dnsdist <-> backend code

The existing code was sharing the same XskWorker between the thread
handling incoming queries (possibly replying right away for
self-answered and cache hit responses) and the one handling responses
coming from a backend (without XSK), which is wrong since the internal
queues are single-producer (and single consumer, but a worker is only
assigned to a single XskRouter which is OK).
This commit introduces a new, separate worker for the threads handling
responses coming from a backend without XSK (it was already the case
for responses coming from a backend via XSK). The new worker is marked
"outgoing-only" to ensure we are not confused about what it can be used
for, which is only sending packets, not receiving any.

Merge pull request #14434 from PowerDNS/dependabot/pip/docs/certifi-2024.7.4

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /docs

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2023.7.22 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2023.07.22...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14433 from PowerDNS/dependabot/pip/pdns/dnsdistdist/docs/certifi-2024.7.4

build(deps): bump certifi from 2024.2.2 to 2024.7.4 in /pdns/dnsdistdist/docs

build(deps): bump certifi in /pdns/dnsdistdist/docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.2.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.02.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14432 from PowerDNS/dependabot/pip/pdns/keyroller/certifi-2024.7.4

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /pdns/keyroller

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /pdns/keyroller

Bumps [certifi](https://github.com/certifi/python-certifi) from 2023.7.22 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2023.07.22...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Don't include openssl/engine.h if it's not going to be used

Split sanitizerecord in two loops to avoid order dependency in authority section

Also avoid some repeated section tests by using nested ifs.

dnsdist: Fix a race in the XSK/AF_XDP backend handling code

For performance reasons we used to keep a local list of available frames
in our `XskWorker` object, like we are doing in the `XskSocket` one,
to avoid having to go to the shared list which is protected by a lock.
Unfortunately, while it works well for the `XskSocket` because it is
accessed by a single `XskRouter` thread, the `XskWorker` object can
be accessed by multiple threads at once: `XskResponderThread`,
`responderThread`, `XskClientThread` and `XskRouter`. Most of the
time these threads do not acquire nor release frames to the local
list, but `responderThread` does acquire one when a response frame
is punted to the regular networking stack, and all of them release
frames when an unexpected condition occurs, for example when a queue
is full. This leads to memory corruption and to a crash.

This commit gets rid of the local list of frames in the `XskWorker`
object, acquiring and releasing them to the shared list instead, since
performance in these cases is likely not as critical. If it turns out
to be too slow, we can look into caching a few frames in a thread-local
list, but then we need to be careful not to hold on them indefinitely
which might be tricky.

Disallow irrelevant SOA records in ANSWER section and adapt test_bogus_does_not_replace_secure_in_the_cache test to not use them

Replace s_redirectionQTypes by a simple function and simplify logging in sanitizeRecords

Add some comments on what's happening in sanitizeRecords,
including a few questions I had when looking at the code

Merge pull request #14425 from aj-gh/recursor-fixtypo1

Recursor: Fix processsing typo.

Merge pull request #14420 from rgacogne/fix-provenance-copy

build-package: Fix copy of the provenance attestations

Fix processsing typo.

Merge pull request #14418 from Habbie/no-el7-arm64

exclude el7 from arm64 in daily package builds

build-package: Fix copy of the provenance attestations

Merge pull request #14419 from omoerbeek/followup-14327

Fix compile error on OPENSSL_VERSION_MAJOR < 3

Fix compile error on OPENSSL_VERSION_MAJOR < 3

../pdns/libssl.cc:637:28: error: no member named 'content' in 'OpenSSLTLSTicketKey'

Merge pull request #14327 from chbruyand/dnsdist-tickets-key-hook

dnsdist: add support for a callback when a new tickets key is added

dnsdist: Use a narrower scope for tickets_key_added_hook

exclude el7 from arm64 in daily package builds

missed this spot in #14406

dnsdist: Fix a typo in the constants documentation

dnsdist: Document how to use ``XSK``/``AF_XDP`` under systemd

dnsdist: Add information, with better formatting, to our XDP script

dnsdist: Use a recursive mutex for the Lua lock

dnsdist: fix build of dnsdist least version

dnsdist: fix gnutls lib flags

Merge pull request #14409 from fredmorcos/various-cleanups

Various cleanups

Merge pull request #14401 from omoerbeek/rec-prep-20240703

rec: Prep for rec-4.9.7 and 5.0.7 releases

Some formatting of pdnsutil.cc

Fix missing includes in lua2api2.hh

dndist: apply Remi's comments, thanks

tidy

Cleanup geoipbackend.cc

Cleanup dnspacket.cc

Formatting and minor fix in misc.hh

Fix config.h include in opensslsigners

Merge pull request #14408 from omoerbeek/rec-throttle-reason

Rec throttle reason

Merge pull request #14406 from Habbie/daily-build-el-7

daily package build: use el-7 target instead of centos-7

Reformat

Merge pull request #14404 from omoerbeek/yahttp-router

Yahttp router: appease coverity wrt unsigned underflow in match()

Merge pull request #14343 from PowerDNS/dependabot/github_actions/docker/build-push-action-6

Bump docker/build-push-action from 5 to 6

Merge pull request #14407 from PowerDNS/dependabot/pip/pdns/dnsdistdist/docs/urllib3-2.2.2

build(deps): bump urllib3 from 2.2.0 to 2.2.2 in /pdns/dnsdistdist/docs

Remember reason we're throttling

build(deps): bump urllib3 from 2.2.0 to 2.2.2 in /pdns/dnsdistdist/docs

Bumps [urllib3](https://github.com/urllib3/urllib3) from 2.2.0 to 2.2.2.
- [Release notes](https://github.com/urllib3/urllib3/releases)
- [Changelog](https://github.com/urllib3/urllib3/blob/main/CHANGES.rst)
- [Commits](https://github.com/urllib3/urllib3/compare/2.2.0...2.2.2)

---
updated-dependencies:
- dependency-name: urllib3
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

daily package build: use el-7 target instead of centos-7

Merge pull request #14399 from rgacogne/pkgs-slsa-dir

build-packages: Upload SLSA attestations to the right directory

Merge pull request #14396 from omoerbeek/tidy-20240627

Tidy sstuf.hh and shuffle.??

Avoid upos underflowing in match loop

no else block after break statement

Merge pull request #14400 from Habbie/el7-on-ol7

switch el7 builds to Oracle Linux 7

Prep for rec-4.9.7 and 5.0.7 releases

Also convert callers of readWithTimeout(), as suggested by @rgacogne

switch el7 builds to Oracle Linux 7

build-packages: Upload SLSA attestations to the right directory

dnsdist: Make the logging functions available to all Lua environments

They were not available to the per-thread FFI rule, action and
load-balancing policy environments.

Untemplatize Throttle class

Tidy sstuff.hh

Note the readWithTimeout() return type change to make things more consistent
Plus some asserted things that caught my eye.

Merge pull request #14395 from rgacogne/ddist-dedup-prometheus-help-type-custom-labels

dnsdist: Dedup Prometheus help and type lines for custom metrics with labels

dnsdist: Do not implicitly convert count()'s `size_type` to `bool`

dnsdist: Dedup Prometheus help and type lines for custom metrics with labels

Merge pull request #14376 from rgacogne/ddist-upstatus-race

dnsdist: Fix a race when accessing a backend health status