CI: Work-around the "503  Service Unavailable" erros on azure.archive.ubuntu.com

Merge pull request #12397 from rgacogne/fix-cachecleaner

cachecleaner: Add cmath, needed for std::ceil and std::round

Merge pull request #12354 from rgacogne/ddist-unique-ednsoptions

dnsdist: Move DNSQuestion's EDNS options to a unique pointer

cachecleaner: Add cmath, needed for std::ceil and std::round

dnsdist: Use EDNSOptionViewMap in more places

As suggested by Otto.

Merge pull request #12365 from rgacogne/ddist-fix-tcp-queued-underflow-12357

dnsdist: Prevent an underflow of the TCP d_queued counter

Merge pull request #12391 from omoerbeek/dnsdist-pgpkeys

dnsdist: update pgp keys listed in docs: add Otto, move Pieter and Bert to old keys

dnsdist: update pgp keys listed in docs: add Otto, move Pieter and Bert to old keys

Merge pull request #12374 from omoerbeek/rec-cache-clean

Rec: make cache cleaning more fair when under pressure

Be more eager to evict expired entries in the first loop by continuing scanning the fraction of each shard we originally computed

Merge pull request #12352 from zjs604381586/recursor-stale

Refresh of negcache stale entry might use wrong qtype

Merge pull request #12378 from omoerbeek/pgp-keys

Update the pgp keys listed in docs

Merge pull request #12313 from darnuria/clang-tidy/one-more-time

Clang-tidy: one more time

Mention Bert and Pieter did sign old releases

Update the keys listed: remove Bert and Pieter, add Remi and Otto

Take shard size and number of remaining shards into account when cleaning, so that big shards get pruned more and if we are behind due to rounding etc we get more eager.

Merge pull request #12373 from omoerbeek/rec-stack-usage-warning

rec: Warn on high (90%) mthread stack usage

Warn on high (90%) mthread stack usage

- Print shard info in cache dumps
- change # of shard of negcache to be 1/8th of main record cache, same for size

Merge pull request #12334 from omoerbeek/rec-more-edns

rec: Generate EDE in more cases, specifically on unreachable auths or sythesized results.

Make a distinction between "ordinary" negcache results and entire name results.

Merge pull request #12368 from rgacogne/rec-add-missing-exception-reason-parse-auth-packet

rec: Add the 'parse packet from auth' error message to structured logging

rec: Add the 'parse packet from auth' error message to structured logging

dnsdist: Prevent an underflow of the TCP d_queued counter

By incrementing it _before_ writing to the pipe, and decrementing
it in case of an error, we prevent a very possible underflow from
occurring if the reader manages to decrement before we can return
from write and increment it.

clang-tidy: uninitialized variables explicitly defaulted.

Also pass to one declaration per line at one site.

clang-tidy: IsTimeSpec function: curly + implicit conversions.

Review Apply @omoerbeek suggestion fix cast to unsigned char.

clang-tidy: Use auto on iterator for loop

Remove redundant headers

- recursor_cache.cc
- zoneparser-tng.cc

clang-tidy: nullptr where possible.

- ldapbackend.cc
- recursor_cache.cc
- recusor_cache.hh
- zoneparser-tng.cc

[clang-tidy:Ccast] Avoid a C cast and modernize.

Code inspired by how it's done in test-dnsrecords_cc.cc.

[clang-tidy:empty] use empty() in various places.

- dnsrecords.cc
- recursor_cache.cc
- dnsrecords.cc.
- zoneparser-tng.cc

empty

[clang-tidy:array] in dnsparser.cc use std::array.

Review by @omoerbeek: Fix size inconsistancy.

clang-tidy: modernize deprecated header invarious places

- time.h -> ctime.
- signal.h -> csignal
- errno.h -> cerrno

[clang-tidy:array] getTypeString std::array<static string> instead of char * C array.

Apply @Omoerbeek suggestion. char * -> static string &

[pdnsutils] Use const std::array for metadata whitelist.

Merge pull request #12348 from omoerbeek/rec-tcounters-dnssec

rec: move dnssec and policy counters to TCounter object

Merge pull request #12292 from rgacogne/minicurl-smart

auth, rec: Wrap the CURL raw pointers in smart pointers

MiniCurl: Make it safe to reuse a MiniCurl object

Merge pull request #12320 from rgacogne/ddist-pkcs12-openssl3

dnsdist: Fix loading PKCS12-encrypted (RC2 CBC) certs with OpenSSL 3.x

Merge pull request #12329 from rgacogne/ddist-ids-overlay-rebased

dnsdist: Turn DNSQuestion and DNSResponse into internal state overlays

Change the logic a bit, as negcache->get() can be called with qtype = QType:::ENT,
but we do not want to push a task with QType::ENT

Also change a few QType& to QType, it's a small int, no need to pass by reference.

change negcache stale resolveTask qtype

Merge pull request #12347 from omoerbeek/rec-serve-stale-methodname

rec: Use correct logic for isEntryUsable()

Merge pull request #10167 from rgacogne/dnsreplay-spoof-source

dnsreplay: Add an option to spoof the initial source IP

Ands move policy name hits to tcounters

Use correct logic for isEntryUsable()

Existing code was correct but used the wrong name for the method:
isEntryUsable() actually tested for isUnusable, but the caller
compensated for it. Reverse logic to make it more clear.

A few tests on the new EDEs

Introduce a context object holding vState and extendedErrors

Later, more fields that apply to a specific beginResolve call
might be added.

dnsreplay: Better error message

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #12100 from rgacogne/ddist-single-soa-ixfr

dnsdist: Properly handle single-SOA XFR responses

Merge pull request #12127 from hlindqvist/ixfrdist-ixfr-multiple-changes

Fix multiple-version IXFR request handling in ixfrdist

Merge pull request #12260 from omoerbeek/webserver-json-utf8

auth: Properly encode json strings containing binary data

Merge pull request #12284 from jsoref/github-output

Switch from set-output to GITHUB_OUTPUT

Move DNSSEC and Policy counters to TCounter object

Merge pull request #12337 from omoerbeek/rec-tcounter-test-tweaks

rec: tcounter test tweaks

Update pdns/recursordist/testrunner.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Some systems have a low-resolution nanosleep(2), calling it will
sleep for at least a few ms. Compensate for that by running fewer
loops with longer sleeps.

Also use dns_random and make sure it is initlized properly for all tests.

Merge pull request #12309 from omoerbeek/test-anybind

Test ANY bind UDP handling for the v4 case

Merge pull request #12333 from omoerbeek/rec-sockbufsize-log

Setting socket buf size: not decreasing is not an error

Merge pull request #12322 from mind04/auth-lmdb-tsig

auth: lmdb, fix TSIG key removal

Merge pull request #12325 from Habbie/remove-toysdig

remove toysdig

Reformat

Generate EDE in more cases, specifically on unreachable auths or synthesized results.

As there is no specific EDE for synthesised, use noError with a text.

We have to be careful here: a single client query can lead to
multiple beginResolve calls. Some of these are done after the main
result has been looked up, for example to validate the result. These
subsequent calls can generate EDE's but we do not want to copy the
EDE to the main result in those cases. A typical example would be
an absent DS for an Insecure domain. Nothing wrong with these but
we do not want the potential absent DS EDE (which could be synthesize)
to be returned with the main query,

To solve this, mimic the processing of validation state and add
an extra argument to a few methods.

I am not terribly happy with the extra argument. Maybe we should
move to an object holding the parameters and result status of the
nested or subsequent calls.  This would also avoid some of the saveX,
setX, beginResolve, restore X sequences.

So marking this as Draft for now.

pdnsutil and testrunner need validate.hh, which the previous commit removed from dist

For setting socket buf size not decreasing is not an error

Merge pull request #12323 from omoerbeek/rec-tcounter-responsestats

rec: make response stats a tcounter object

dnsdist: Move DNSQuestion's EDNS options to a unique pointer

Merge pull request #12327 from rgacogne/ddist-fix-tcp-only-checktimeout-ms

dnsdist: Fix the health-check timeout computation for DoH backend

dnsdist: Store the maximum UDP payload size in the internal state

dnsdist: Store the initial query time in the internal state as well

That way it is available in the response.

Merge pull request #12328 from rgacogne/ddist-stop-responders-faster

dnsdist: Stop the responders more quickly during the tests

dnsdist: Turn DNSQuestion and DNSResponse into IDState overlays

Remaining:

queryRealTime
udpPayloadSize

dnsdist: Clean up unused fieds from the IDState

dnsdist: Refactor the handling of responses for UDP clients

dnsdist: Add dnsdist::Protocol::isUDP()

dnsdist: Stop the responders more quickly during the tests

We use `SO_REUSEPORT` in these tests so if the old responder is
still around when the next test starts, it is quite likely that
it might get one of the new queries. This is usually fine because
responders with a different behaviour listen on different ports,
but if a query is queued to an old responder socket right during
the time that responder is checking whether it should stop and
the actual exit, the query will be lost.

dnsdist: Fix the health-check timeout computation for DoH backend

The remaining milliseconds after handling the full seconds was not
properly converted to microseconds.

Merge pull request #12326 from omoerbeek/dnsdist-regr-wait-responders

dnsdist: Wait for TCP responder to become active before starting dnsdist

remove toysdig

Wait for TCP responder to become active before starting dnsdist

rec: make response stats a tcounter object

This allows for the packet cache hit path to record response stats without performance impact.

The qtype and rcode counters are capped, as i ran into trouble with
the thread stack sizes on macOS and OpenBSD. See the source comment
for explanation.

Closes #11534

auth: lmdb, fix TSIG key removal

auth, rec: Wrap the CURL raw pointers in smart pointers

dnsdist: Fix loading PKCS12-encrypted (RC2 CBC) certs with OpenSSL 3.x

Merge pull request #12319 from omoerbeek/dnsdist-rlim_t

dnsdist: Use rlim_t for limit

Use rlim_t for limit

Merge pull request #12318 from omoerbeek/rec-reorg

Rec reorg: move recursor specific files to recursordist

Step 3: reformat moved files previously not formatted

Step 2: mv rec specific files to recursordist

Step one: remove symlinks to rec-specific files

Merge pull request #12193 from omoerbeek/rec-tcounters

Introducing TCounters

Merge pull request #12317 from omoerbeek/rec-fix-freebsd

rec: Fix compilation on FreeBSD

Fix compilation on FreeBSD. reported by HellSpawn

Two Bucket fields can be const if we take care in the asssignment op.

Typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #12316 from rgacogne/ddist-disable-tsan-send-wrappers

dnsdist: Disable the send wrappers in our CI

dnsdist: Disable the send wrappers in our CI

The way the send wrappers are implemented, reading the data _after_
it has been sent, cause them to report a data race that does not
exist with existing implementations:
- we call `send()` from thread 1 to send a query to a backend, never
  touching the data or associated metadata again from that thread
- we get a response from the backend in a different thread, thread 2,
  which will then access the metadata and sometimes (truncated UDP
  answers following a DoH query) even modify the data itself
- ASAN and TSAN complain because the wrapper might still be reading
  the data after the UDP datagram has been sent, which is effectively
  a race, but it does not really make any sense for an actual
  implementation of `send()` to do that.

We work around that by disabling the `send()` wrappers in our CI,
for the dnsdist regression tests only, via `intercept_send=0`.

Merge pull request #12308 from omoerbeek/rec-prep-4.8.0

Prep for rec-4.8.0 final release

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>