Better comments on what's going on

Formatting of various files like ipcipher and opensslsigners

Relax clang-tidy regarding magic numbers

Add _build dir to docs/.gitignore

Simplify code by using more methods already existing and correct entry count when deleting from the negcache.

clean negcache&& clean cname cache

Name recursor threads consistently with a "rec/" prefix.

Use thread names without capitals, as they look a bit ugly otherwise.

Threads started by libfstrm are not named, as they are created internally by the lib.

Partly supsersedes #11138

Merge pull request #12397 from rgacogne/fix-cachecleaner

cachecleaner: Add cmath, needed for std::ceil and std::round

Introduce a thread-safe version of stringerror()

It turns out we already have the code, so call it.

Merge pull request #12354 from rgacogne/ddist-unique-ednsoptions

dnsdist: Move DNSQuestion's EDNS options to a unique pointer

cachecleaner: Add cmath, needed for std::ceil and std::round

dnsdist: Move the exception handling out of handleOnePacket()

dnsdist: Use EDNSOptionViewMap in more places

As suggested by Otto.

Merge pull request #12365 from rgacogne/ddist-fix-tcp-queued-underflow-12357

dnsdist: Prevent an underflow of the TCP d_queued counter

Add an --enable-fortify-source configure option

The option defaults to 2 to keep the existing behaviour, but 3 and
auto are supported, with auto trying to select the highest version
supported by the compiler.

Merge pull request #12391 from omoerbeek/dnsdist-pgpkeys

dnsdist: update pgp keys listed in docs: add Otto, move Pieter and Bert to old keys

dnsdist: Add SetReducedTTLResponseAction

dnsdist: update pgp keys listed in docs: add Otto, move Pieter and Bert to old keys

Be more careful saving errno in makeClientSocket() and closesocket()

Merge pull request #12374 from omoerbeek/rec-cache-clean

Rec: make cache cleaning more fair when under pressure

Be more eager to evict expired entries in the first loop by continuing scanning the fraction of each shard we originally computed

OpenBSD does not like calling MAP_STACK with PROT_NONE, so
allocate r/w and mprotect the guard pages explicitly

Merge pull request #12352 from zjs604381586/recursor-stale

Refresh of negcache stale entry might use wrong qtype

Merge pull request #12378 from omoerbeek/pgp-keys

Update the pgp keys listed in docs

Merge pull request #12313 from darnuria/clang-tidy/one-more-time

Clang-tidy: one more time

Enable FORTIFY_SOURCE=3 when supported by the compiler

Barely tested, we should at least measure the performance impact and
ponder making that optional.

rec: Implement a small cache of MTasker stack objects

rec: Implement stack overflow protection via guard pages

Mention Bert and Pieter did sign old releases

Update the keys listed: remove Bert and Pieter, add Remi and Otto

Take shard size and number of remaining shards into account when cleaning, so that big shards get pruned more and if we are behind due to rounding etc we get more eager.

Move all compiling hints to one place

Merge pull request #12373 from omoerbeek/rec-stack-usage-warning

rec: Warn on high (90%) mthread stack usage

Warn on high (90%) mthread stack usage

- Print shard info in cache dumps
- change # of shard of negcache to be 1/8th of main record cache, same for size

Merge pull request #12334 from omoerbeek/rec-more-edns

rec: Generate EDE in more cases, specifically on unreachable auths or sythesized results.

Make a distinction between "ordinary" negcache results and entire name results.

Merge pull request #12368 from rgacogne/rec-add-missing-exception-reason-parse-auth-packet

rec: Add the 'parse packet from auth' error message to structured logging

rec: Add the 'parse packet from auth' error message to structured logging

Add missing comma to pdns_control ccounts

dnsdist: Prevent an underflow of the TCP d_queued counter

By incrementing it _before_ writing to the pipe, and decrementing
it in case of an error, we prevent a very possible underflow from
occurring if the reader manages to decrement before we can return
from write and increment it.

rec: In compiling docs, warn about the GH tarballs, add deps from README

clang-tidy: uninitialized variables explicitly defaulted.

Also pass to one declaration per line at one site.

clang-tidy: IsTimeSpec function: curly + implicit conversions.

Review Apply @omoerbeek suggestion fix cast to unsigned char.

clang-tidy: Use auto on iterator for loop

Remove redundant headers

- recursor_cache.cc
- zoneparser-tng.cc

clang-tidy: nullptr where possible.

- ldapbackend.cc
- recursor_cache.cc
- recusor_cache.hh
- zoneparser-tng.cc

[clang-tidy:Ccast] Avoid a C cast and modernize.

Code inspired by how it's done in test-dnsrecords_cc.cc.

[clang-tidy:empty] use empty() in various places.

- dnsrecords.cc
- recursor_cache.cc
- dnsrecords.cc.
- zoneparser-tng.cc

empty

[clang-tidy:array] in dnsparser.cc use std::array.

Review by @omoerbeek: Fix size inconsistancy.

clang-tidy: modernize deprecated header invarious places

- time.h -> ctime.
- signal.h -> csignal
- errno.h -> cerrno

[clang-tidy:array] getTypeString std::array<static string> instead of char * C array.

Apply @Omoerbeek suggestion. char * -> static string &

[pdnsutils] Use const std::array for metadata whitelist.

Merge pull request #12348 from omoerbeek/rec-tcounters-dnssec

rec: move dnssec and policy counters to TCounter object

Merge pull request #12292 from rgacogne/minicurl-smart

auth, rec: Wrap the CURL raw pointers in smart pointers

MiniCurl: Make it safe to reuse a MiniCurl object

Merge pull request #12320 from rgacogne/ddist-pkcs12-openssl3

dnsdist: Fix loading PKCS12-encrypted (RC2 CBC) certs with OpenSSL 3.x

Merge pull request #12329 from rgacogne/ddist-ids-overlay-rebased

dnsdist: Turn DNSQuestion and DNSResponse into internal state overlays

Change the logic a bit, as negcache->get() can be called with qtype = QType:::ENT,
but we do not want to push a task with QType::ENT

Also change a few QType& to QType, it's a small int, no need to pass by reference.

change negcache stale resolveTask qtype

add 4.8.0 changes - could probably format these better

auth LUA createForward6: add full hex and prefixed full hex tests

auth LUA createForward: add tests for shorter or absent prefix to hex form

auth LUA createForward: adjust test that now manages to generate an IP

auth LUA createForward6: accept hex-only addresses, with an optional prefix

auth LUA createForward: accept any length of prefix for the hex address

Merge pull request #12347 from omoerbeek/rec-serve-stale-methodname

rec: Use correct logic for isEntryUsable()

Merge pull request #10167 from rgacogne/dnsreplay-spoof-source

dnsreplay: Add an option to spoof the initial source IP

Ands move policy name hits to tcounters

Use correct logic for isEntryUsable()

Existing code was correct but used the wrong name for the method:
isEntryUsable() actually tested for isUnusable, but the caller
compensated for it. Reverse logic to make it more clear.

A few tests on the new EDEs

Introduce a context object holding vState and extendedErrors

Later, more fields that apply to a specific beginResolve call
might be added.

dnsreplay: Better error message

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #12100 from rgacogne/ddist-single-soa-ixfr

dnsdist: Properly handle single-SOA XFR responses

Merge pull request #12127 from hlindqvist/ixfrdist-ixfr-multiple-changes

Fix multiple-version IXFR request handling in ixfrdist

Merge pull request #12260 from omoerbeek/webserver-json-utf8

auth: Properly encode json strings containing binary data

Merge pull request #12284 from jsoref/github-output

Switch from set-output to GITHUB_OUTPUT

Move DNSSEC and Policy counters to TCounter object

Merge pull request #12337 from omoerbeek/rec-tcounter-test-tweaks

rec: tcounter test tweaks

Update pdns/recursordist/testrunner.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Some systems have a low-resolution nanosleep(2), calling it will
sleep for at least a few ms. Compensate for that by running fewer
loops with longer sleeps.

Also use dns_random and make sure it is initlized properly for all tests.

Merge pull request #12309 from omoerbeek/test-anybind

Test ANY bind UDP handling for the v4 case

dnsdist: Do not log on out-of-memory, but wait a bit before recovering

dnsdist: Handle out-of-memory exceptions in the UDP receiver thread

Merge pull request #12333 from omoerbeek/rec-sockbufsize-log

Setting socket buf size: not decreasing is not an error

Merge pull request #12322 from mind04/auth-lmdb-tsig

auth: lmdb, fix TSIG key removal

Merge pull request #12325 from Habbie/remove-toysdig

remove toysdig

dnsdist: Add a Lua FFI interface for metrics

Reformat

Generate EDE in more cases, specifically on unreachable auths or synthesized results.

As there is no specific EDE for synthesised, use noError with a text.

We have to be careful here: a single client query can lead to
multiple beginResolve calls. Some of these are done after the main
result has been looked up, for example to validate the result. These
subsequent calls can generate EDE's but we do not want to copy the
EDE to the main result in those cases. A typical example would be
an absent DS for an Insecure domain. Nothing wrong with these but
we do not want the potential absent DS EDE (which could be synthesize)
to be returned with the main query,

To solve this, mimic the processing of validation state and add
an extra argument to a few methods.

I am not terribly happy with the extra argument. Maybe we should
move to an object holding the parameters and result status of the
nested or subsequent calls.  This would also avoid some of the saveX,
setX, beginResolve, restore X sequences.

So marking this as Draft for now.

pdnsutil and testrunner need validate.hh, which the previous commit removed from dist

For setting socket buf size not decreasing is not an error

Merge pull request #12323 from omoerbeek/rec-tcounter-responsestats

rec: make response stats a tcounter object

dnsdist: Move DNSQuestion's EDNS options to a unique pointer

Merge pull request #12327 from rgacogne/ddist-fix-tcp-only-checktimeout-ms

dnsdist: Fix the health-check timeout computation for DoH backend

fix ColumnSize argument in SQLBindParameter #12324

dnsdist: Store the maximum UDP payload size in the internal state

dnsdist: Store the initial query time in the internal state as well

That way it is available in the response.

Merge pull request #12328 from rgacogne/ddist-stop-responders-faster

dnsdist: Stop the responders more quickly during the tests

dnsdist: Turn DNSQuestion and DNSResponse into IDState overlays

Remaining:

queryRealTime
udpPayloadSize