dnsdist: fix doh3-less compile

Merge pull request #14617 from omoerbeek/rec-dedup-recs

rec: dedup records

Merge pull request #15026 from omoerbeek/dnsdist-testrunner-libssl

dnsdist:: add -lssl to testrunner link, needed on OpenBSD at least

Merge pull request #14948 from neheb/ll

clang-tidy: simplify some algorithms

Merge pull request #14970 from neheb/jj

boost > std optional

dnsdist:: add -lssl to testrunner link, needed on OpenBSD at least

Separate speedtest setup, process review comments

Merge pull request #14946 from rgacogne/ddist-add-test-for-rewriting-response-code-via-lua

dnsdist: Add a regression test rewriting the response code via Lua

Merge pull request #15002 from rgacogne/ddist-doh3-bindings

dnsdist: Add DoH3 headers, query string, path and scheme bindings

Merge pull request #15023 from miodvallat/autoconf-ate-my-brackets

autohell regression fix

Merge pull request #15003 from rgacogne/ddist-regression-test-python3.13

dnsdist: Fix regression tests with Python 3.13

Remove spurious ] causing shell complaints during configure.

Merge pull request #15019 from omoerbeek/rec-log-sockets

rec: explictly log port of listening addresses

rec: explictly log port of listening addresses

Merge pull request #14993 from BozhanL/fix7522

auth: createForward and createForward6 will use the zone_record as base

Merge pull request #15016 from Habbie/no-bool-explicit-cmp

coding guidelines: remove bool advice that conflicts with clang-tidy

Merge pull request #15017 from omoerbeek/rec-shared-ptr-followup

rec: followup to #14985: init shared pointers as get() might be passed a nullptr

rec: followup to #14985: init shared pointers as get() might be passed a nullptr

Merge pull request #14937 from omoerbeek/rec-meson-ci

rec: start building rec also using meson in ci

better text

Co-authored-by: Miod Vallat <miod.vallat@open-xchange.com>

coding guidelines: remove bool advice that conflicts with clang-tidy

Typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

auth: remove zoneid from luaSynth parameters

Merge pull request #14985 from omoerbeek/rec-cache-shared-authrecs

rec: store authority recs and signatures as shared pointers to const data

typo

Merge pull request #15010 from g0tar/taggedOnly

recursor: fixed behaviour of protobufServer(.. {taggedOnly=true})

Process review comments from @rgacogne

Test the non-tagged packet cache hit case and test both UDP and TCP clients while there

recursor: outgoingProtobufServer() ignores taggedOnly protobuf option,
therefore do not annouce it; outgoing server is used as outgoingLoggers
in LWResult::Result asyncresolve(); after being introduced in
4898a34 filtering of outgoingP..S..() was not implemented since b790ef3

typo

rec: TCP counterpart to protobufServer(.. {taggedOnly=true}) fix

recursor: fix protobufServer(.. {taggedOnly=true}) logic for
cache-returned responses (problem existing since initial ac10822)
fixes #15007

dnsdist: Don't dereference a null pointer when accessing DoH{,3} headers via the FFI interface

dnsdist: Fix clang-tidy warnings

dnsdist: Add DoH3 headers, query string, path and scheme bindings

The DoH ones have been there for a long time, but the DoH3 ones were
missing. Note that we still don't have the ability to set a HTTP
response for DoH3 queries (including response maps) and SNI is still
missing (Quiche does not make that last one easy).

dnsdist: Fix regression tests with Python 3.13

The CA certificates that we are generating as par of our regression tests
were lacking the X.509 `Key Usage` extension, causing TLS validation with
Python 3.13 to fail with:

> certificate verify failed: CA cert does not include key usage extension

It appears that Python 3.13 enables `VERIFY_X509_STRICT` by default, which makes OpenSSL stricter, and thus it chokes on our invalid CA.

Merge pull request #14997 from rgacogne/ddist-fix-doc-action-typos

dnsdist: Fix some small issues in the documentation for actions

dnsdist: Fix some small issues in the documentation for actions

Merge pull request #14955 from miodvallat/my_docs_look_better_than_yours

Documentation cleanup

auth: createForward and createForward6 will use the zone_record as base
Closes #7522

Merge pull request #14991 from omoerbeek/rec-janitor-at-work

rec: zap dangling symlink, leftover of #14926

rec: zap dangling symlink, leftover of #14926

Merge pull request #14987 from neheb/meson

use some structured binding

use some structured binding

clang-tidy complains here about pointless std::move of a trivially
copyable type.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

also test sigs

Also handle sigs as a shared point to a vector

Add a speedtest like test, not enabled by default

This shows a modest increase in speed:

'null test' 0.11 seconds: 3222473473.3 runs/s, 0.00 us/run
'AuthRecordsTest' 0.10 seconds: 66.8 runs/s, 14977.88 us/run

to

'null test' 0.10 seconds: 3223627246.4 runs/s, 0.00 us/run
'AuthRecordsTest' 0.11 seconds: 72.1 runs/s, 13868.26 us/run

The test is: generate 100 records into the cache (each with an authRecord),
retrieve each record 100 times.

clang-tidy

Improvement: use const vector plus names for the various types used

rec: experiment: authRecs a shared pointer of DNSRecs instead of a vec of shared pointers to DNSRecs

Merge pull request #14980 from rgacogne/ddist198-changelog

dnsdist: Add ChangeLog and secpoll entry for DNSdist 1.9.8

Apply suggestions from Peter (update secpoll, proper quotes)

dnsdist: Add a missing entry into the 1.9.8 ChangeLog

secpoll: Update zone for DNSdist 1.9.8

dnsdist: Add ChangeLog for DNSdist 1.9.8

Merge pull request #14974 from Habbie/auth-4.9.3-secpoll-docs

auth-4.9.3: docs&secpoll

auth-4.9.3: docs&secpoll

Merge pull request #14973 from omoerbeek/rec-full-cname-chain-cached

rec: if the full CNAME chain leading to the answer is cached, indicate that

Add test

The last step of the test shows that there is likely room for more improvement.

Merge pull request #14956 from esensar/feat/metric-labels

dnsdist: add support for labels on custom metrics

if *fromCache is already true, no need to check CNAME chain

Co-authored-by: Remi Gacogne <github@coredump.fr>

dnsdist: fix typos in custom metrics docs

Co-authored-by: Remi Gacogne <github@coredump.fr>

dnsdist: set version changed for new custom metrics options in docs

Merge pull request #14935 from omoerbeek/rec-regr-test-markers

rec: regression test markers

Merge pull request #14967 from rgacogne/ddist-fix-ecs-zero-scope-incoming-doh

dnsdist: Fix ECS zero-scope with incoming DoH queries

dnsdist: fix empty labels check in json stats endpoint

Dedup only in specific places

dnsdist: use `empty()` instead of "" check

dnsdist: add docs for new arguments for custom metric functions

Refactor serialize/wireFormatContent as suggested by @rgacogne

rename pdns::shuffle to pdns::shufleRecords, as suggested by @rgacogne

Add speedtest for shuffle, plus a speedup in shuffle itself

Faster dedup, not using zoneRepresentation but wire format, which allows for
an unordered_set as well.

Rework dedup code and add a test for pdsn::dedup

Adapt test to not use repeating records

No need to dedup the dns64 case seperately anymore

rec: dedup results from auths and results constructed ourselves

rec: if the full CNAME chain leading to the answer is cached, indicate that

Alternative approach to #14918

dnsdist: update metrics related regression tests

Merge pull request #14931 from miodvallat/bugfix/12653

Fix ipv*hint=auto on lmdb backend

Needs C++17 nowadays.

Update backend writer's guide.

Tweaks to get manpages to render better.

Make the Prometheus scrape example visible.

Apeaze spayl tcheker

Update external urls

Update last TAI change date.

DNSSEC: Change to primary/secondary wording and mention RFC9077.

Use current settings names rather than the ones deprecated in 4.5.

Improve layout/rendering, appease the grammar gods, various tweaks.

statnode: boost > std optional

Signed-off-by: Rosen Penev <rosenp@gmail.com>

geoipbackend: boost > std optional

Signed-off-by: Rosen Penev <rosenp@gmail.com>

sdig: boost > std optional

Signed-off-by: Rosen Penev <rosenp@gmail.com>

ws-auth: boost > std optional

Signed-off-by: Rosen Penev <rosenp@gmail.com>

dnsdist: ignore clangd-tidy warnings

Co-authored-by: Remi Gacogne <github@coredump.fr>

dnsdist: Fix ECS zero-scope with incoming DoH queries

The zero-scope feature involves a first cache lookup before the ECS
information has been added to the query, then on a miss a second,
regular lookup is done. When we get a response from the backend that
contains an ECS scope set to 0, we can insert it into the cache in a
way that allows using it for all clients, but we must be careful to
use the key that was computed during the first lookup, and not the
second one.
Incoming DoH queries make that even more interesting because while
they are received over TCP, they are initially forwarded to the
backend over UDP but can be retried over TCP if a TC=1 answer is
received. In that case we must be very careful not to insert the
answer into the cache using the wrong protocol, as we don't want to
serve a TC=1 answer to a client contacting us over TCP, for example.
The computation of the cache key and protocol was unfortunately broken
for the incoming query received over DoH, forwarded over UDP and
response has a zero scope case. This commit fixes it.

Merge pull request #14964 from omoerbeek/rec-prep-5.2.0-rc1

rec: prep for rec-5.2.0-rc1

dnsdist: remove todo comments from `dnsdist-lua-ffi`

rec: prep for rec-5.2.0-rc1

Merge pull request #14957 from zjs604381586/avoid-local-port

recursor udp-source-port-avoid default setting add 4791 port