rec: limit the number of async tasks pushed to resolve NS names

Plus: as we only use a limited set of NS names for resolving,
processing all additional records does not help.

Merge pull request #14367 from rgacogne/ddist-lua-config-cleanup

dnsdist: Refactoring of the configuration

Merge pull request #14458 from omoerbeek/rec-meson

rec: add meson build

Merge pull request #14474 from rgacogne/fix-permissions-on-packages-dir

build-packages: More lenient permissions on the packages directory

build-packages: More lenient permissions on the packages directory

We don't really the more restrictive `700` since all these artefacts
are public anyway, and this breaks the current release workflow,
so let's go with `755` instead.

Add detection of a handful of pthread _np functions

Merge pull request #14461 from rgacogne/ddist-196-changelog-secpoll

dnsdist: Prepare ChangeLog and secpoll for 1.9.6

Merge pull request #14447 from aerique/feature/add-arm64-tests-to-repo-script

Add ARM64 tests to repo script.

Tweaks

Merge pull request #14459 from omoerbeek/rec-docker-yml

rec: provide docker image with yml config file

Process review comments, add check for a config.h file in src dir

dnsdist: Apply suggestions from Otto's reviews of the new configuration

dnsdist: Fix clang-tidy warnings in dnsdist-dynblocks.cc

dnsdist: Fix static analysis warnings (again)

dnsdist: Fix static analysis warnings

dnsdist: Fix compilation when dynamic blocks are disabled

dnsdist: Reduce the dependency on dnsdist::configuration.hh

Getting rid of the ugly DNSQuestion stubs in the meantime.

dnsdist: Fix unwanted copies of the configuration

dnsdist: Fix clang-tidy's warnings about const-correctness

dnsdist: Refactor frontend configuration

dnsdist: Move Rings to the new configuration

dnsdist: Move carbon settings to the new configuration

dnsdist: Get rid of the weird delayed tasks during configuration/startup

dnsdist: Switch Webserver and console to the new configuration

dnsdist: Make dynamic rules holders static

dnsdist: Move outgoing connections settings to the new configuration

dnsdist: Remove left-over global variables

dnsdist: Fix compiler warnings about reaching end of non-void functions

dnsdist: Fix shadowed variables

dnsdist: Move the TCP Fast Open key to the new configuration

dnsdist: Move rules to the new configuration

dnsdist: Move the backends to the new configuration

dnsdist: Move LB policy and pools to the new configuration

dnsdist: Fix a 'shadowed variable' warning

dnsdist: Fix a warning about using an initialized variable in DNSCrypt

dnsdist: Fix formatting issues

dnsdist: Move ACL to the new configuration system

sstuff: Convert a `static const` to `static constexpr`

dnsdist: Clean up Dynamic Rules configuration

dnsdist: Clean up console configuration

dnsdist: Be careful not to hold onto a Runtime Configuration

dnsdist: Convert capabilities configuration

dnsdist: Protect the runtime-modifiable configuration via RCU

dnsdist: Improve consistency of the Lua types used in our configuration

dnsdist: Set 1.9.6 release to 16th of July 2024

Missed dep_threads, matters on FreeBSD

Merge pull request #14468 from rgacogne/ci-remove-ddist-17x

ci: Stop building rel/dnsdist-1.7.x, as 1.7.x is EOL

Merge pull request #14429 from rgacogne/ddist-xsk-backend-race

dnsdist: Fix a race in the XSK/AF_XDP backend handling code

ci: Stop building rel/dnsdist-1.7.x, as 1.7.x is EOL

dnsdist: Avoid a double lookup when UMEM state debugging is enabled

Fix editing botch in comment, plus bit of cleanup in printed stuiff and comments

dnsdist: Set the shared XSK frames in the XskWorker constructor

Merge pull request #14456 from omoerbeek/ci-build-rec-51

rec: move to rec-5.1.x for builder-releases-dispatch.yml as well

Merge pull request #14430 from omoerbeek/rec-sanitize

rec: refactor sanitizeRecords and fix order dependency

dnsdist: Prepare ChangeLog and secpoll for 1.9.6

Fix example command line

rec: move default Docker config to YAML

As noted by rgacogne: additional record type check can be done in first pass

Define HAVE_BOOST_CONTAINER_FLAT_SET_HPP if relevant, fix systemd dep

NOD handling

pubsuffix handling

Testrunner now works

adding other executables, there are some issues with C++ generated code

Fix SNMP, add a few more features

rec: meson build inital work

Really remove `arch=...` from `pdns.list` file.

Add AARCH64 tests for rec-49 and -50.

Merge pull request #14453 from omoerbeek/rec-prep-5.1.0

rec: prep for rec-5.1.0

rec: move to rec-5.1.x for builder-releases-dispatch.yml as well

Missed in #14441

Merge pull request #14451 from omoerbeek/rec-docs-not-quiet

rec: document log lines produced by logging.quiet set to false

Merge pull request #14454 from Habbie/catalog-order-by

auth catalogs SQL: force order of domains to avoid spurious rehashes

Merge pull request #14443 from PowerDNS/dependabot/pip/pdns/recursordist/docs/certifi-2024.7.4

build(deps): bump certifi from 2024.2.2 to 2024.7.4 in /pdns/recursordist/docs

Apply text suggestions from @rgacogne

auth catalogs SQL: force order of domains to avoid spurious rehashes

fixes #13963

Merge pull request #14448 from Habbie/daily-master-packages

gh actions: daily master build of packages

rec: prep for rec-5.1.0

rec: document log lines produced by logging.quiet set to false

Fixes #14440

gh actions: daily master build of packages

Remove `arch=...` from `pdns.list` file.

Add ARM64 tests to repo test script.

dnsdist: Fix wrong assertions in AF_XDP/XSK code

build(deps): bump certifi in /pdns/recursordist/docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.2.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.02.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14441 from omoerbeek/ci-build-rec-5.1.x-daily

CI: start building rel/rec-5.1.x daily, and drop rel/rec-4.8.x

Merge pull request #14417 from rgacogne/ddist-xsk-doc-script

dnsdist: Better documentation and debug informations for `XSK`/`AF_XDP`

Merge pull request #14398 from rgacogne/ddist-logging-per-thread-ffi

dnsdist: Make the logging functions available to all Lua environments

CI: start building rel/rec-5.1.x daily, and drop rel/rec-4.8.x

Merge pull request #14431 from tjikkun/no_include_engine

Don't include openssl/engine.h if it's not going to be used

dnsdist: Fix code formatting

dnsdist: Make the code used to debug UMEM issues work with multiple queues

dnsdist: Fix a data race in the AF_XDP/XSK dnsdist <-> backend code

The existing code was sharing the same XskWorker between the thread
handling incoming queries (possibly replying right away for
self-answered and cache hit responses) and the one handling responses
coming from a backend (without XSK), which is wrong since the internal
queues are single-producer (and single consumer, but a worker is only
assigned to a single XskRouter which is OK).
This commit introduces a new, separate worker for the threads handling
responses coming from a backend without XSK (it was already the case
for responses coming from a backend via XSK). The new worker is marked
"outgoing-only" to ensure we are not confused about what it can be used
for, which is only sending packets, not receiving any.

Merge pull request #14434 from PowerDNS/dependabot/pip/docs/certifi-2024.7.4

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /docs

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2023.7.22 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2023.07.22...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14433 from PowerDNS/dependabot/pip/pdns/dnsdistdist/docs/certifi-2024.7.4

build(deps): bump certifi from 2024.2.2 to 2024.7.4 in /pdns/dnsdistdist/docs

build(deps): bump certifi in /pdns/dnsdistdist/docs

Bumps [certifi](https://github.com/certifi/python-certifi) from 2024.2.2 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2024.02.02...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14432 from PowerDNS/dependabot/pip/pdns/keyroller/certifi-2024.7.4

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /pdns/keyroller

build(deps): bump certifi from 2023.7.22 to 2024.7.4 in /pdns/keyroller

Bumps [certifi](https://github.com/certifi/python-certifi) from 2023.7.22 to 2024.7.4.
- [Commits](https://github.com/certifi/python-certifi/compare/2023.07.22...2024.07.04)

---
updated-dependencies:
- dependency-name: certifi
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Don't include openssl/engine.h if it's not going to be used

Split sanitizerecord in two loops to avoid order dependency in authority section

Also avoid some repeated section tests by using nested ifs.

dnsdist: Fix a race in the XSK/AF_XDP backend handling code

For performance reasons we used to keep a local list of available frames
in our `XskWorker` object, like we are doing in the `XskSocket` one,
to avoid having to go to the shared list which is protected by a lock.
Unfortunately, while it works well for the `XskSocket` because it is
accessed by a single `XskRouter` thread, the `XskWorker` object can
be accessed by multiple threads at once: `XskResponderThread`,
`responderThread`, `XskClientThread` and `XskRouter`. Most of the
time these threads do not acquire nor release frames to the local
list, but `responderThread` does acquire one when a response frame
is punted to the regular networking stack, and all of them release
frames when an unexpected condition occurs, for example when a queue
is full. This leads to memory corruption and to a crash.

This commit gets rid of the local list of frames in the `XskWorker`
object, acquiring and releasing them to the shared list instead, since
performance in these cases is likely not as critical. If it turns out
to be too slow, we can look into caching a few frames in a thread-local
list, but then we need to be careful not to hold on them indefinitely
which might be tricky.

Disallow irrelevant SOA records in ANSWER section and adapt test_bogus_does_not_replace_secure_in_the_cache test to not use them