rec: Add a unit test checking that DNSSEC validation is done for AA=0 answers

rec: Work around clueless servers sending AA=0 answers

Merge pull request #10535 from RobinGeuze/fixUeberBackendAddCacheBug

auth: make UeberBackend::addCache pick the correct ttl

Merge pull request #10530 from ZaphodB/ZaphodB-patch-1

docs: query-local-address6 has been removed in #10251 as well

Merge pull request #10544 from rgacogne/ddist-carbon-tests-slow

dnsdist: Add some leeway for the carbon data to reach the test receiver

Merge pull request #10547 from rgacogne/ddist-test-nostale-ttl

dnsdist: Use a 2s TTL in testCacheNoStale to prevent failures

dnsdist: Use a 2s TTL in testCacheNoStale to prevent failures

With the previous 1s TTL, the entry was only valid for the current
second, but we might have been very near the end of that second
already when inserting. With a 2s TTL (which was apparently intended
anyway) we have a full second before the entry expires.

Merge pull request #10528 from Habbie/auth-upgrade-4.2-api-rectify

auth 4.2 upgrade docs: note default-api-rectify change

Merge pull request #10122 from omoerbeek/rec-cumulative-histograms

Rec: cumulative and Prometheus friendly histograms

dnsdist: Add some leeway for the carbon data to reach the test receiver

It seems to fail quite frequently these days, and that gives us two
whole more seconds before timing out, which hopefully should be
enough in most cases.

Typo fix

Mention the cumul stats are Prometheus-only by default

Disable cumul stats by default except for API plus some other
assorted review comments.

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

For Prometheus output, ad HELP and TYPE

Docs

rename cumulative counters to be better aligned with existing names

Use %g for formatting. It strips trailing zeroes (unlike %f) and will switch to
scientific notation for very small or large values. Also correct units for
sum and count.

Align with Prometheus way of doing things and simplify
template a bit.

Finish rebase

Use 1-2-5 histogram buckets and count packet cache hits.

Simple way to get a repeated 1-2-5 sequence of histograms

Cumulative Prometheus style histograms

Completely remove lowering the TTL, just use d_cache_ttl

Fix it so addCache actually picks the minimal ttl rather than the last one < d_cache_ttl

Merge pull request #10503 from rgacogne/ddist-coverage

dnsdist: Exit nicely to get coverage reports when COVERAGE is defined

Merge pull request #10508 from hhoffstaette/no-stale-metrics

dnsdist: Do not report latency metrics of down upstream servers

Merge pull request #10532 from rgacogne/ddist-lua-spoof-multi-raw

dnsdist: Add FFI functions to spoof multiple raw values

Merge pull request #10531 from rgacogne/ddist-greater-ttl-neg-tests

dnsdist: Increase the TTL of test answers to prevent spurious failures

dnsdist: Fix invalid method references in the documentation

dnsdist: Document that DNSQuestion.spoof exists to spoof multiple values

dnsdist: Add FFI functions to spoof multiple raw values

dnsdist: Increase the TTL of test answers to prevent spurious failures

The value of the TTL for negative answers was capped to 1s, which means
that the answer will only be present in the cache for the current second.
If the test starts at the end of a second in unix time, there is a real
risk that the entry is no longer usable when we try to fetch it from the
cache. Increase the TTL to 2s instead to reduce that risk.

Merge pull request #10365 from jsoref/spell-check

Upgrade check-spelling to v0.0.18

Upgrade check-spelling to v0.0.18

spelling: axfr

Signed-off-by: Josh Soref <jsoref@users.noreply.github.com>

Dnsdist: Reset latency of an upstream server when it is marked down

oops missed that one

docs: query-local-address6 has been removed in #10251 as well

Merge pull request #10160 from chbruyand/structured-logging

rec: Structured logging

auth 4.2 upgrade docs: note default-api-rectify change

Merge pull request #10526 from Habbie/auth-4.5.0-rc1-secpoll-docs

auth-4.5.0-rc1: secpoll&docs

auth-4.5.0-rc1: secpoll&docs

Merge pull request #10489 from slowr/ixfr-axfr-aware

dnsdist: Make DNSDist XFR aware when transfer is finished

Merge pull request #10488 from chbruyand/qtype-to-string-fix

auth: fix compilation issue

Merge pull request #10522 from Habbie/auth-svcb-fixes

auth SVCB fixes: avoid a crash; don't chase chains outside of zones

Only perform AdditionalServiceProcessing for aliasform records.

Co-authored-by: Kees Monshouwer <mind04@monshouwer.org>

auth SVCB additional processing: do not chase chains outside of zone

fixes #10521

Merge pull request #10523 from rudybroersma/patch-1

Update slavecommunicator.cc

Update slavecommunicator.cc

Very teeny tiny fix for a missing space in a log line:

Domain 'exsilia.net' is fresh, but RRSIGs differ on master2a01:1b0:7999:402::29, so DNSSEC is stale, serial is 2021051001
into:
Domain 'exsilia.net' is fresh, but RRSIGs differ on master 2a01:1b0:7999:402::29, so DNSSEC is stale, serial is 2021051001

Merge pull request #10518 from rgacogne/rec-ds-missing-soa

rec: Make sure that we pass the SOA along the NSEC(3) proof for DS queries

Merge pull request #10506 from omoerbeek/gitignore-no-symlink

newer git does not like .gitignore to be a symlink

Merge pull request #10507 from Habbie/auth-no-pubsuffix

auth: remove pubsuffix

auth SVCB additional processing: delay inserts to avoid invalidating iterator

rec: Check that we get the SOA on a direct query for a non-existing DS

In a regression test this time.

rec: Check that we get the SOA on a direct query for a non-existing DS

auth: remove pubsuffix

rec: Make sure that we pass the SOA along the NSEC(3) proof for DS queries

If the client is requesting a DS that does not exist, we need to
provide the SOA (+RRSIGs) along with the NSEC(3) proof (+RRSIGs)
and we might not have it if we picked up the proof from a delegation,
in which case we need to keep on to do the actual DS query.
It used to work before 4.5.0 because the zone cuts determination
code was requesting the DS records before doing any resolution, so we
would get the denial and the SOA at the very beginning and not replace
it on a delegation because we knew the zone was Insecure at that point.
Note that we still want to use the "no SOA denial" for internal zone
cuts computation since we don't care about the SOA at that point,
and that saves quite some outgoing queries.

Merge pull request #10512 from Habbie/pdnsutil-add-autoprimary-error

pdnsutil add-autoprimary: print error when exiting with 1

Merge pull request #10509 from Habbie/pdnsuil-create-zone-soa-parse-error

pdnsutil create-zone: better error if default-soa-content is broken

Merge pull request #10373 from Habbie/pdnsutil-add-zone-key-ksk

auth pdnsutil add-zone-key: clarify zsk default

Merge pull request #10511 from Habbie/svcb-parse-error-truncate

SVCB: on parse error, throw instead of truncate

Merge pull request #10513 from Habbie/pdnsutil-edit-zone-reask

pdnsutil edit-zone: correctly reask inc-serial question

Merge pull request #10514 from Habbie/auth-2136-cds-cdnskey

auth 2136: allow placing DNSKEY/CDS/CDNSKEY regardless of direct-dnskey setting

Merge pull request #10510 from pieterlexis/SVCB-fixes-45

SVCB: Fix auto hints removing non-auto hints

Merge pull request #10428 from omoerbeek/rec-tls

Rec: cleanup of outgoing TCP code and DoT to auth or forwarders

Dnsdist: Do not report latency metrics of down upstream servers

auth: correctly respect direct-dnskey when putting DNSKEY/CDS/CDNSKEY in NSEC(3) bitmaps. Thanks @mind04. Fixes #10516

move instead of copy data to inMSG

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #10515 from omoerbeek/rec-proxyvalues.clear

rec: Clear the current proxy protocol values each iteration

Clear the current proxy protocol values each iteration

auth 2136: allow placing DNSKEY/CDS/CDNSKEY regardless of direct-dnskey setting. Fixes #10321

pdnsutil edit-zone: correctly reask inc-serial question. Fixes #10328

pdnsutil add-zone-key: clarify ZSK default

pdnsutil add-autoprimary: print error when exiting with 1. Fixes #10435.

SVCB: on parse error, throw instead of truncate. Fixes #10442

pdnsutil create-zone: better error if default-soa-content is broken

SVCB: Fix auto hints removing non-auto hints

Closes #10258

Also adapt make-ext-symlinks.py script

Merge pull request #9474 from Habbie/lua-newcafromraw

newCAFromRaw(): create ComboAddress from raw 4/16 byte strings

newer git does not like .gitignore to be a symlink

Merge pull request #10345 from gregmac/patch-1

Fix documentation around get*DomainMetadata

newCAFromRaw(): create ComboAddress from raw 4/16 byte strings, plus test

(code copied from dnsdist)

move error's content and fix typos

Basic test for dot-to-auth-names and don't setup auths for DoT tests,
we don't need them.

Maintain a sseparate inPos and inWanted, this should fix partial reads,
make the code more clear and also allow less resizing.

Implement a simple (braindead) mechansim to force DoT the specific auths: a fixed list
of names or suffixes of the special nameservers.

Add very basic DoT regression test

dotOutqueries metrics: docs, Prometheus and SNMP

Align TCPIOHandlerReadable and Writeable and process some review comments

Very basic config: enable/disbale forcing of DoT for target port 853

Log if DoT was requested but not available/compiled in

Convert timeout values to be specified as a timeval, so sub-second timeout
values can be handled correctly.

Also make sure sdig uses a NB socket, to handle timeouts correctly.

Start of working DoT to auth/forwarder.

The state engine is a bit strange right now, likely needs rework.
I'm also observing connections that remain in "established state"
while I would expect the handler to be cleaned up and connection
to be closed at that point.

Handle IOState::NeedWrite/NeedRead by flipping the status

dnsdist: Exit nicely to get coverage reports when COVERAGE is defined

Merge pull request #10494 from omoerbeek/not-formatted-locale

Set LANG=C explicitly, otherwise it may lead to suprises if the user isn't using LANG=C.

Merge pull request #10393 from jsoref/faq-deleted-zones-do-not-propagate

Correct faq entry to talk about zones

Merge pull request #10414 from 42wim/multipleip

Support multiple ip addresses for dnsdist-resolver lua script

Set LANG=C explicitly, otherwise it may lead to suprises if the user isn't using LANG=C.