Merge pull request #12419 from omoerbeek/rec-close-fd-on-fdopen-fail

rec: negcache dump code: close fd on fdopen fail

dnsdist: Document interactions between XFR, NOTIFY and the cache

rec: README tweaks, .md does not know :program:`...`

Merge pull request #12364 from rgacogne/rec-doc-compiling

rec: In compiling docs, warn about the GH tarballs, add deps from README

Merge pull request #12396 from omoerbeek/stringerror-thread-safe

Introduce a thread-safe version of stringerror()

Close fd on fdopen fail.

Originally suggested by @rgacogne, but not included in the merge of #12374
somehow.

Merge pull request #12412 from fredmorcos/openssl3-tls-mac

OpenSSL 3.0: TLS MAC handling

Merge pull request #12416 from Habbie/variable-mirror

build-and-test-all: add functionality to quickly switch ubuntu mirrors

build-and-test-all: add functionality to quickly switch ubuntu mirrors

dnsdist: Document the 'restart' feature

dnsdist: FFI interface for the Lua network endpoint

dnsdist: Add documentation for suspending/resuming objects

dnsdist: Add the infrastructure for restartable queries

dnsdist: Add regression tests for the regular Lua async bindings

dnsdist: Add regular Lua bindings for async handling of queries

dnsdist: Add regression tests for asynchronous processing

dnsdist: Implement async processing of queries and responses

Merge pull request #12405 from rgacogne/ddist-frontend-responses

dnsdist: Proper accounting of response and cache hits

Merge pull request #12386 from rgacogne/single-doh-acceptor

dnsdist: Merge the 'main' and 'client' DoH threads in single acceptor mode

Merge pull request #12384 from rgacogne/ddist-cap-ttl

dnsdist: Add the ability to cap the TTL of records after insertion into the cache

dnsdist: Add more unit tests for the packet overlay

m4: Fix interleaved output during `FORTIFY_SOURCE` detection

Merge pull request #12411 from fredmorcos/openssl3-ipcipher-ca6-crypto

Support OpenSSL 3.0 for ipcipher CA6 encryption/decryption

OpenSSL 3.0: TLS MAC handling

libssl: Cleanup TLS-related code

libssl: Formatting TLS-related code

dnsdist: Appease the formatting gods

Merge pull request #12403 from rgacogne/spell-allow-eaca

spell-checker: Allow EACA (from the PGP public keys in the docs)

dnsdist: Use smaller event buffers in our socket multiplexers

dnsdist: Silence a warning about an unused variable in discovery.cc

dnsdist: Remove a duplicated ';' in dnsdist-lua-actions.cc

credentials: Add more unit tests

auth: Even better interface for setKey()

auth: Better interface for setKey() by requiring the flags

auth: Compute the public key only once, when creating the private one

Note that one big drawback is that setKey() should NO LONGER be used
before the algo and flags have been set.

auth: Rename the function computing the hash of public keys

As suggested by Fred Morcos (thanks!).

auth: Speed up ECDSA and RSA signatures

For ECDSA, and likely for RSA, computing the public key is not a cheap
operation. So instead of computing it twice to get the lookup key for
our signatures cache, reuse the computed public key and only compute its
digest.
In addition, since ed* algorithms were already using the whole key instead
of a digest, place the cut off at public keys larger than 64 bytes, meaning
that only RSA ones (128+ bytes) will be hashed.
This provides an additional speedup for ECDSA keys (32 or 48 bytes) since
they no longer need to be hashed, and simplifies the signers code as the
hashing can be moved to the key cache now that it only depends on they key
size.
For reference the size of a SHA-1 digest is 20 bytes.

In my tests this reduces by 30% the cost of calling addRRSigs() for ECDSA
signatures when the signature is already present in the cache.

OpenSSL 3.0: decryptCA6

OpenSSL 3.0: encryptCA6

spell-checker: Allow prometheus values

dnsdist: Fix a typo in the prometheus type

dnsdist: Update the prometheus sample in the documentation

It was very old and not up-to-date.

dnsdist: Only record one hit or miss per query in the cache metrics

The scope-zero feature and the DoH paths can actually do more than
one lookup per query, and until now this led to an increase of the
per-cache metric for every lookup, while the global `cache-hits`
and `cache-misses` metrics were only updated once per query.
This has led to several questions and misunderstandings, so we now
only update the per-cache metrics once per query as well.

dnsdist: Properly record cache-hits as responses

For a very long time we have not been adding cache-hits to the
responses counter, which is wrong. Let's fix it now.

Cleanup ipcipher.hh

dnsdist: Merge the 'main' and 'client' DoH threads

When we are in "single acceptor thread" mode, merge the 'main' and
'client' DoH threads into a single one. We use separate threads to
reduce the separate the handling of the HTTP/2 traffic from the DNS
handling, to reduce latency, but that does not really make sense on
small devices with a single, limited CPU core. On these we prefer
using as few threads as possible to reduce the context switches and
the memory usage.

dnsdist: Remove ttlCapTypes from the internal state

dnsdist: Use unordered sets to speed things up a bit

dnsdist: Implement the ability to cap TTLs for some record types only

dnsdist: Add MaxReturnedTTLResponseAction to cap the TTL after packet cache

Merge pull request #12383 from rgacogne/ddist-stronger-udp-path

dnsdist: Stronger guarantees against data race in the UDP path

Merge pull request #12401 from fredmorcos/openssl-3-prep

Openssl 3 prep work

dnsdist: Really fix the formatting this time

dnsdist: Fix formatting

dnsdist: Apply suggestions from Otto's code review (thanks!)

dnsdist: Set a proper HTTP error code on Proxy Protocol failure

dnsdist: Stronger guarantees against data race in the UDP path

Merge pull request #12410 from rgacogne/unbreak-ci

CI: Work-around the "503  Service Unavailable" erros on azure.archive.ubuntu.com

Merge pull request #12402 from rgacogne/ddist-dq-time

dnsdist: Add bindings for the current and query times in DQ/DR

CI: Work-around the "503  Service Unavailable" erros on azure.archive.ubuntu.com

Merge pull request #12400 from rgacogne/ddist-reduce-ttl

dnsdist: Add SetReducedTTLResponseAction

dnsdist: Add Lua bindings for the current time and query time

Print compiler version at the end of configure

dnsdist: Better description of SetReducedTTLResponseAction

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>

Include failure message when creating DSRCs

Lint cleanups of test-signers.cc

OpenSSL signers test for getPubKeyHash()

Cleanup DNSCryptoKeyEngine

Print checkKey() error messages in signer tests

Cleanup test_generic_signers in test-signers.cc

Cleanup of ipcipher.cc

Cleanup includes in misc.cc

Add OpenSSL error handler

Merge pull request #12385 from rgacogne/ddist-ffi-metrics

dnsdist: Add a Lua FFI interface for metrics

Reformat

Better wording of reason to not chain ECS enabled queries

Co-authored-by: Remi Gacogne <github@coredump.fr>

Typo in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

rec: do not chain ecs enabled queries.

asyncresolve() assumes the recieved ecs info corresponds to the one sent out.

Merge pull request #12387 from rgacogne/ddist-oom-udp

dnsdist: Handle out-of-memory exceptions in the UDP receiver thread

auth: pdnsutil, implement list-member-zones

Merge pull request #12399 from omoerbeek/rec-threadnames

rec: Name recursor threads consistently with a "rec/" prefix.

Merge pull request #12392 from omoerbeek/bind-errno-cleanup

Be more careful saving errno in makeClientSocket() and closesocket()

Merge pull request #12367 from jsoref/pdns_control-ccounts-comma

Add missing comma to pdns_control ccounts

spell-checker: Allow EACA (from the PGP public keys in the docs)

Better comments on what's going on

Formatting of various files like ipcipher and opensslsigners

Relax clang-tidy regarding magic numbers

Add _build dir to docs/.gitignore

Simplify code by using more methods already existing and correct entry count when deleting from the negcache.

clean negcache&& clean cname cache

Name recursor threads consistently with a "rec/" prefix.

Use thread names without capitals, as they look a bit ugly otherwise.

Threads started by libfstrm are not named, as they are created internally by the lib.

Partly supsersedes #11138

Merge pull request #12397 from rgacogne/fix-cachecleaner

cachecleaner: Add cmath, needed for std::ceil and std::round

Introduce a thread-safe version of stringerror()

It turns out we already have the code, so call it.

Merge pull request #12354 from rgacogne/ddist-unique-ednsoptions

dnsdist: Move DNSQuestion's EDNS options to a unique pointer

cachecleaner: Add cmath, needed for std::ceil and std::round

dnsdist: Move the exception handling out of handleOnePacket()

dnsdist: Use EDNSOptionViewMap in more places

As suggested by Otto.

Merge pull request #12365 from rgacogne/ddist-fix-tcp-queued-underflow-12357

dnsdist: Prevent an underflow of the TCP d_queued counter

Add an --enable-fortify-source configure option

The option defaults to 2 to keep the existing behaviour, but 3 and
auto are supported, with auto trying to select the highest version
supported by the compiler.

Merge pull request #12391 from omoerbeek/dnsdist-pgpkeys

dnsdist: update pgp keys listed in docs: add Otto, move Pieter and Bert to old keys