auth: implement group in the producer

auth: implement producer regression tests

auth: implement producer axfr

auth: implement producer freshness check and a lot of cleanup/speedup

auth: extend type length to 8 characters (PRODUCER / CONSUMER)

auth: add catalog to DomainInfo

auth: add options to DomainInfo

Merge pull request #11762 from omoerbeek/rec-prep-4.7.1

rec: Prep for rec-4.7.1

Merge pull request #11764 from mind04/pdns-lmdb-deletedomain

auth: fix deleteDomain() in lmdb backend

Merge pull request #11763 from hlindqvist/dnsdist-negativeandsoaaction-authority-section

Add option to NegativeAndSOAAction to place SOA in the authority section

auth: fix deleteDomain() in lmdb backend

Add option to NegativeAndSOAAction to place SOA in the authority section

Ie, allow generating a full NODATA/NXDOMAIN cacheable negative response, rather than
an RPZ-style reponse with only an informational SOA record in the additional section

Prep for rec-4.7.1

Merge pull request #11761 from rgacogne/ddist-keep-caps-on-user-switch

dnsdist: Keep retained capabilities even when switching user/group

dnsdist: Keep retained capabilities even when switching user/group

On Linux, we support retaining some capabilities if we are running
as root (eeew) or as an unprivileged user with ambiant capabilities,
but we did not yet support keeping these if we were started as root
but then switched to a different user ID and/or group ID.
This commit uses `PR_SET_KEEPCAPS`, when available, to do just that,
to be able to retain the capabilities we need without running as a
fully privileged users even when we cannot easily use ambiant
capabilities.

Merge pull request #11734 from rgacogne/ddist-nodelay

dnsdist: Set TCP_NODELAY on the TCP connection to backends

Merge pull request #11723 from rgacogne/ddist-getrandom

dnsdist: Use getrandom() if available

Merge pull request #11754 from omoerbeek/rec-tcp-nodelay

rec: Set TCP_NODELAY on in and outgoing TCP

Merge pull request #11751 from omoerbeek/rec-zonemd-generic-test-followup

rec: Avoid log spam in tests for for zonemd generic

Avoid log spam in tests

Set TCP_NODELAY on in and outgoing TCP

Merge pull request #11752 from Habbie/2136-txt-hidesoadetails

auth 2136: in recently added TXT tests, hide SOA details

Merge pull request #11755 from rgacogne/auth-fix-tsig-keys-retrieval

auth: Fix getTSIGKeys() return value in GSQL and LMDB backends

auth: Fix getTSIGKeys() return value in GSQL and LMDB backends

These Bind and remote backends return true when at least a TSIG key
is returned, as expected by the API and pdnsutil code, but the GSQL
backend returned false if at least a key was returned and true
otherwise. The LMDB backend always returned false.
This caused `pdnsutil b2b-migrate` not to migrate TSIG keys from a
GSQL or LMDB backend, amongst other things.

also update expected_results for the tinydns-data-check test

auth 2136: in recently added TXT tests, hide SOA details

Merge pull request #11726 from omoerbeek/rec-zonemd-generic

Rec: allow generic format of records in zone file

Merge pull request #11745 from aerique/feature/clean-up-repo-script

Clean up repo test script.

Merge pull request #11738 from Habbie/2136-txt

auth 2136: match autosplit TXT more usefully

Merge pull request #11744 from omoerbeek/rec-glue-ttl-zap-5

rec: remove > 5 check on ttl of glue from the cache.

Remove EOL releases from repo test script.

Also merge code blocks spread out over identical conditional
statements.

Merge pull request #11743 from aerique/feature/add-ubuntu-jammy-to-repo-script

Add Ubuntu Jammy to repo test script.

Remove > 5 check on ttl of glue from the cache.

This makes the view of the record cache consistent with what syncres thinks.
This > 5 has been there since
https://github.com/PowerDNS/pdns/commit/7bf2638379826e89d655194bf5834bd7deda450a
I *suppose* it was to prevent access data from the cache while it could be cleaned.
But these days we copy data from the cache, so no need for that.

auth 2136: match autosplit TXT correctly

Add Ubuntu Jammy to repo test script.

auth: add a bunch of passing rfc2136 TXT tests

Merge pull request #11735 from Habbie/builddeb-gzip

dh_builddeb: force gzip compression

dh_builddeb: force gzip compression, thanks Zash!

dnsdist: Set TCP_NODELAY on the TCP connection to backends

Setting `TCP_NODELAY` disables Nagle's algorithm, which is unfortunately
not always playing nice with TCP delayed ACKs. This is especially true
when the backend supports out-of-order processing, allowing dnsdist to
send several queries at once without waiting for an answer. In that case
dnsdist often has to wait several milliseconds (20ms is common) before
the remote end decides to send the delayed ACK which allows us to send
the next query.

Merge pull request #11730 from chbruyand/dnsdist-docs-missing-stats

dnsdist docs: add some missing statistics

Merge pull request #11588 from rage4/upstream/r4-lua-records-new-methods

Extend LUA records

dnsdist docs: add some missing statistics

Merge pull request #11727 from omoerbeek/auth-zonemd-generic

auth: Also allow generic record format in zone parsing for pdnsutil zonemd-verify-file

auth: Also allow generic record format in zone parsing for pdnsutil zonemd-verify-file

Formatting

Update structured logging for exceptions to be in line with rest of code

Convert generic format while parsing zone files for ZoneToCache.

Fixes #11724

Merge pull request #11719 from omoerbeek/unsigned-char-issues

Fix warnings found by compiler on MacOS, where char is unsigned

dnsdist: Use getrandom() if available

It turns out to use much less CPU than RANDOM_bytes() from libcrypto.

Merge pull request #11713 from rgacogne/ddist-upstream-conn-limit

dnsdist: Implement a limit of concurrent connections to a backend

dnsdist: Only put outgoing DoH conn in the idle queue if they are idle

dnsdist: Do not pretend that a connection will be reusable when it's dead

By remember that a connection is no longer usable when we notice that,
we prevent a case where we could pretend that it will be usable when
it has finished processing the current queries and responses, which
is not true.

dnsdist: Add a metric to track when the TCP conns limit is reached

dnsdist: Implement a limit of concurrent connections to a backend

Merge pull request #11716 from rgacogne/split-metrics

dnsdist: Add more detailed metrics

Merge pull request #11718 from rgacogne/ddist-fix-backend-concurrent-conns

dnsdist: Fix the number of concurrent queries on a backend TCP conn

Merge pull request #11722 from Habbie/luathread-sigterm

dnsdist newThread(): mask SIGTERM

dnsdist newThread(): mask SIGTERM

Fix a few warnings found by compiler on MacOS, where char is unsigned

dnsdist: Fix the number of concurrent queries on a backend TCP conn

When we are in the process of sending a query to the backend, that
query is no longer accounted in the "queued" queries nor it is in
the "queued" responses, but we need to take it into account.
Otherwise we might be sending two concurrent queries to a backend
that does not support out-of-order processing (increasing our
latency), or even worse to one that does not support pipelining.

dnsdist: Add per-protocol latency averages

dnsdist: Add a per-server metric for non-compliant responses

dnsdist: Add a per-frontend metric for non-compliant queries

Merge pull request #11712 from chbruyand/dnsdist-packetcache-ringbuffer

dnsdist: fill ringbuffers with responses served from the cache

Make sure that we do not read past our buffer in any case

Co-authored-by: Remi Gacogne <github@coredump.fr>

process review comments

dnsdist: fill ringbuffers with responses served from the cache

Merge pull request #11696 from rgacogne/ddist-fix-source-itf

dnsdist: Bind to the requested src interface without a src address

Merge pull request #11689 from rgacogne/ddist-skip-allocations-policies

dnsdist: Avoid allocating memory in LB policies for small number of servers

Merge pull request #11707 from rgacogne/ddist-latencies

dnsdist: Compute backend latency earlier, to avoid internal latency

Merge pull request #11698 from rgacogne/ddist-more-name-bindings

Implement `SuffixMatchTree::getBestMatch()` to get the name that matched

dnsdist: Bind to the requested src interface without a src address in auto-discovery as well

dnsdist: Only check if we want a specific interface if we actually support that

dnsdist: Use IP_BIND_ADDRESS_NO_PORT when binding UDP sockets as well

dnsdist: Fix a typo LeastOustandingType -> LeastOutstandingType

dnsdist: Fix a bound issue, improve readability (thanks, Otto!)

dnsdist: Remove a forgotten debug message

Merge pull request #11693 from omoerbeek/rec-sl-web

rec: Structured logging for webserver

Process review comments

Merge pull request #11695 from rgacogne/ddist-do-not-autoupgrade-dotdoh

dnsdist: Do not try to auto-upgrade DoT and DoH backends

Merge pull request #11710 from omoerbeek/rec-sl-3

rec: stuctured logging for various subsystems

Merge pull request #11709 from omoerbeek/rec-sd-journal-followup

Rec: systemd-journal structured logging followup

Process review comments

Process review comments: add comments and braces

Merge pull request #11711 from rgacogne/ddist-startup-infos

dnsdist: Log listening addresses and version at the 'info' level

Merge pull request #11704 from omoerbeek/rec-edns-sparse-table

Rec: make edns table a sparse table

Move back to origial EDNSLevel logic.

The handling around ednsMANDATORY is separate form the table handling,
so do not mix these up.

Remaining structured logging, "only" sending/receiving questions and answers, validation and tracing remain.

dnsdist: Log listening addresses and version at the 'info' level

These are really informations, not warnings.

Structured Logging: finish Lua config messages

Structured logging for root refresh

Format

Structured logging for webserver

Document structured-logging-backend

Early priority filter for structured logging

Introduce a setting to switch to systemd-journal (default off),

It is nicely structured but not really nice for human consumption.
Also fix priority filtering.

dnsdist: Properly handle TCP latencies for DoH backends as well

dnsdist: Test the TCP latency in our regression tests

dnsdist: Compute backend latency earlier, to avoid internal latency

Also properly report the latency as TCP when forwaring a query received
over UDP to TCP-only, DoT and DoH backends.
Exports the TCP latency in the prometheus and API metrics.

Merge pull request #11651 from Y7n05h/refactor

dnsdist: refactor sendfromto