Merge pull request #10501 from rgacogne/ddist-per-thread-lua-ffi

dnsdist: Add support for Lua per-thread FFI rules and actions

Merge pull request #10571 from Habbie/rec-warnings

rec: fix some compiler warnings

Merge branch 'master' into rec-warnings

Merge pull request #10588 from jsoref/master-spelling-0.0.19

Upgrade check-spelling to v0.0.19

Merge pull request #10581 from Habbie/auth-4.5.0-secpoll-docs

auth-4.5.0: secpoll and docs

Upgrade check-spelling to v0.0.19

Signed-off-by: Josh Soref <jsoref@users.noreply.github.com>

Merge pull request #10583 from Habbie/mibs-local-range

SNMP: allocate local-use ranges for traps and trapObjects

SNMP: allocate local-use ranges for traps and trapObjects

auth-4.5.0: secpoll and docs

Merge pull request #10487 from Habbie/docs-texlive

build docs using the texlive image

Merge pull request #10568 from Habbie/auth-bind-no-sqlite3

auth: allow building bindbackend without sqlite3

Merge pull request #10578 from natesales/natesales/fix-dnsdist-docs

fix: dnsdist docs quickstart typo

fix: dnsdist docs quickstart typo

Merge pull request #10576 from omoerbeek/log-qtype-tostring

Zap a few redundant toString() method call for logging qtype names

Zap a few redundant toString() method call for logging qtype names

Merge pull request #10496 from tacerus/master

Reference pdnsutil in "Running and Operating"

Merge pull request #10557 from rgacogne/ddist-doc-ebpf

dnsdist: Documentation fixes (typo, eBPF capabilities)

dnsdist: Document what is available from per-thread Lua FFI contexts

dnsdist: Constify some members for Lua FFI rule

dnsdist: Constify some members for Lua FFI action and rule

Merge pull request #10527 from rgacogne/ddist-log-reload

dnsdist: Implement 'reload()' to rotate Log(Response)Action's log file

Merge pull request #10537 from rgacogne/ddist-exact-protocol-in-dq

dnsdist: Carry the exact incoming protocol (Do53, DNSCrypt, DoT, DoH) in DQ

Merge pull request #10550 from rgacogne/ddist-doh-load-new-certs-keys

dnsdist: Add the missing DOHFronted::loadNewCertificatesAndKeys()

Merge pull request #10560 from rgacogne/ddist-pool-metrics

dnsdist: Implement a web endpoint to get metrics for only one pool

dnsdist: Document how raising LimitMEMLOCK might be needed for eBPF

rec: move  ifdef-dependent vars to inside the ifdef

rec: silence spurious compiler warning about possibly uninited var

auth: allow building bindbackend without sqlite3

I broke this in #10549

reported by Ralf van der Enden

Merge pull request #10563 from Habbie/auth-4.5.0-rc2-secpoll-docs

auth-4.5.0-rc2: docs and secpoll

Merge pull request #10555 from rgacogne/rec-unscrew-missing-aa

rec: Work around clueless servers sending AA=0 answers

Merge pull request #10556 from pieterlexis/10548-tls-in-rec-pkgs

Rec: Enable DoT in packages

auth-4.5.0-rc2: docs and secpoll

Merge pull request #10491 from chbruyand/key-values-metadata

rec: Add bindings to set arbitrary key-value metadata in logged messages

Merge pull request #10545 from Habbie/nsec3-debugging

rec, nsec3dig: NSEC(3) debugging improvements

dnsdist: Implement a web endpoint to get metrics for only one pool

dnsdist: Fix a typo in the out-of-order documentation

dnsdist: Fix the documentation for setDropEmptyQueries()

dnsdist: Document that some capabilities are needed for eBPF

dnsdist: Add a UDP vs TCP packet cache unit test

dnsdist: Make the protocol const, simplify the TCP/UDP check

Fix versionadded in documentation

Merge pull request #10553 from Habbie/rec-dot-nits

rec: assorted improvements

rec: Add a unit test checking that DNSSEC validation is done for AA=0 answers

rec: Work around clueless servers sending AA=0 answers

Merge pull request #10539 from omoerbeek/rec-prep-4.5.3

rec: Prep rec-4.5.4

rec docs: fix warnings

remove DNS_OVER_TLS guard around applying the dot-to-port-853 setting

before this commit: pointing a forward at port 853, without DoT support, causes Recursor to attempt to do UDP over port 853 to the upstream. This rarely works.

after this commit: much swifter failure with an error log message saying `45.55.10.200:853 requested but not available`

emit error when dot-to-auth-names is set without DoT support

toTimestampStringMilli is only called from inside this file, make it static

Merge pull request #10549 from Habbie/bind-cache-nsec3param

auth bindbackend: NSEC(3) setting consistency, reload improvements

bindbackend: purge caches on zone reload

pdnsutil: add reload notes for bindbackend

auth bindbackend: store nsec3 settings at zone load

This keeps, inside the bindbackend, the nsec(3) settings consistent
with the 'rectification' applied on zone load. This avoids crashes
when nsec3 is enabled or disabled without reloading the zone in the
bindbackend.

reported by Matt Nordhoff

Merge pull request #10535 from RobinGeuze/fixUeberBackendAddCacheBug

auth: make UeberBackend::addCache pick the correct ttl

Merge pull request #10530 from ZaphodB/ZaphodB-patch-1

docs: query-local-address6 has been removed in #10251 as well

dnsdist: Add the missing DOHFronted::loadNewCertificatesAndKeys()

dnsdist: Warn if we could not re-open the LogResponseAction file

dnsdist: Warn if we could not re-open the LogAction file

Merge pull request #10544 from rgacogne/ddist-carbon-tests-slow

dnsdist: Add some leeway for the carbon data to reach the test receiver

Merge pull request #10547 from rgacogne/ddist-test-nostale-ttl

dnsdist: Use a 2s TTL in testCacheNoStale to prevent failures

Rec: Enable DoT in packages

Closes #10548

dnsdist: Use a 2s TTL in testCacheNoStale to prevent failures

With the previous 1s TTL, the entry was only valid for the current
second, but we might have been very near the end of that second
already when inserting. With a 2s TTL (which was apparently intended
anyway) we have a full second before the entry expires.

dnsdist: Make the Lua FFI per-thread counters atomic

We should not actually need that since the rules and actions are
either created sequentially at configuration time or via the console
at runtime, which requires holding the global Lua lock.
Still we don't care about performance when creating these objects
so let's just use an atomic counter instead.

dnsdist: Only try to execute a faulty Lua FFI per-thread code once

document the two new ffi functions

remove redundant condition

turn off clang-format for RecursorLua4::postPrepareContext

move meta content instead of copying

also copy metas to responses + unit tests

revert locally bad sort

fix dnsdist compilation

rec: code format lua-recursor4-ffi.hh lua-recursor4.cc lua-recursor4.hh
and also properly sort .not-formated file

recursor: lua ffi, add support for setting arbitrary key-value metadata

Merge pull request #10528 from Habbie/auth-upgrade-4.2-api-rectify

auth 4.2 upgrade docs: note default-api-rectify change

nsec3dig: add type bitmap counts to proven names output

Merge pull request #10122 from omoerbeek/rec-cumulative-histograms

Rec: cumulative and Prometheus friendly histograms

rec: add some comments about minimally covering NSEC(3)s

dnsdist: Add some leeway for the carbon data to reach the test receiver

It seems to fail quite frequently these days, and that gives us two
whole more seconds before timing out, which hopefully should be
enough in most cases.

Typo fix

Prep rec-4.5.4

Mention the cumul stats are Prometheus-only by default

dnsdist: Set the protobuf transport protocol to TCP for DoH

We don't support the exact transport yet.

rec: Support more dnstap transport types (DoT)

dnsdist: Support more dnstap transport types (DoT, DoH)

Update dnstap.proto

dnsdist: Add regression tests for DNSQuestion.getProtocol()

dnsdist: Expose the protocol to Lua

dnsdist: Pass the exact protocol around via the IDState

dnsdist: Test that DoH answers are stored as received over UDP in the cache

dnsdist: Carry the exact protocol (Do53, DNSCrypt, DoT, DoH) in DQ

Disable cumul stats by default except for API plus some other
assorted review comments.

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

For Prometheus output, ad HELP and TYPE

Docs

rename cumulative counters to be better aligned with existing names

Use %g for formatting. It strips trailing zeroes (unlike %f) and will switch to
scientific notation for very small or large values. Also correct units for
sum and count.

Align with Prometheus way of doing things and simplify
template a bit.

Finish rebase

Use 1-2-5 histogram buckets and count packet cache hits.

Simple way to get a repeated 1-2-5 sequence of histograms