dnsdist: Disable 'IncludeDir' tests on GH actions

Merge pull request #10927 from rgacogne/ddist-doc-svc-nodata

dnsdist: Reply with NODATA for non-SVC types in the SVC documentation

Merge pull request #10923 from rgacogne/ddist-retain-capabilities

dnsdist: Add the ability to retain select capabilities at runtime

Merge pull request #10930 from omoerbeek/rec-control-stream

rec: Move to a stream based socket for the control channel

Merge pull request #10904 from omoerbeek/untrusted-zones-docs

Some things you should do when handling untrusted zone files.

Merge pull request #10901 from rgacogne/zoneparsertng-width

ZoneParserTNG: Stricter checks when loading a zone file

Merge pull request #10935 from EugenMayer/patch-1

Remove debug print line flooding logs

Remove debug print line flooding logs

Remove debug log line printing a statement into stdout all the time.

Update security.rst

Update security.rst

Do not read further than the length we received, the string might
be followed by a passed fd.

Interesting to see that OpenBSD chops up recvs based on the sends,
while Linux is happy to read more than was passed to the corresponding
send call if another send was called after that.

Use FDWrapper

Move to a stream based socket for the control channel

Merge pull request #10916 from omoerbeek/rec-reformat

rec: Reformat a bunch of recursor specific files

Merge pull request #10926 from omoerbeek/rec-carbon-hostname-regression

rec: Fix regression of carbon-ourname

Merge pull request #10876 from rgacogne/ddist-doh-memory

dnsdist: Stop over-allocating for DoH queries

Merge pull request #10922 from rgacogne/ddist-without-nghttp2

dnsdist: Fix build without nghttp2

dnsdist: Reply with NODATA for non-SVC types in the SVC documentation

Fix regression of carbon-ourname introduced in 58d7ad6bfb0d46b7617ca984b90feacae35752c8
Noted by @mnordhoff

dnsdist: Add the ability to retain select capabilities at runtime

dnsdist: Fix build without nghttp2

Merge pull request #10917 from rgacogne/ddist-cleanup-steps

dnsdist: Remove the useless step parameter in TCP and HTTP/2 unit tests

Fix a linking issue with GCC 11.1.0

dnsdist: Remove the useless step parameter in TCP and HTTP/2 unit tests

As suggested by Otto.

Reformat a bunch of recursor specific files

Merge pull request #10908 from omoerbeek/rec-SHA-vs-SHA

rec: A SHA-384 DS should not trump a SHA-256 one, so only potentially zap SHA-1

Merge pull request #10905 from omoerbeek/rec-wipe-cache-typed-validation

rec: rec_control wipe-cache-typed  should check if a qtype arg is present

Merge pull request #10862 from rgacogne/ddist-mix-different-clients-over-backend-conn

dnsdist: Use the same outgoing TCP connection for different clients

A SHA-384 DS should not trump a SHA-256 one, so only potentially zap SHA-1

wipe-cache-typed  should check if a qtype arg is present and valid

dnsdist: Do not try to reconnect UDP sockets for TCP-only backends

Some things you should do when handling untrusted zone files.

dnsdist: Also allocate buffers and connect sockets for CLI backends

dnsdist: Make ConnectionToBackend::release() purely virtual

dnsdist: Don't copy the header twice when editing the ID

As suggested by Otto.

dnsdist: Check that the configuration values do not silently overflow

dnsdist: Do not create outgoing UDP sockets for TCP-only backends

dnsdist: Fix MaxIdeTime -> MaxIdleTime typos

dnsdist: Prevent allocating then releasing memory for backends

dnsdist: Fix an issue with the connection count when reconnect failed

dnsdist: Better detection of closed TLS downstream connections

dnsdist: Fix proxy protocol handling (and broken tests)

dnsdist: Prevent UB by not accessing the DNS header via a (potentially) misaligned address

dnsdist: Use the same outgoing TCP connection for different clients

Attempt to fix the paths to the suppressions files in forks

Limit #include depth

ZoneParserTNG: Stricted parsing of $GENERATE parameters

ZoneParserTNG: Explicitely use the size of the buffer

ZoneParserTNG: Cap the width of $GENERATE template to the output size

It does not make sense to use a width larger than our output buffer
since it would get truncated anyway.

Merge pull request #10902 from rgacogne/pin-docutils

Pin docutils to < 0.18 for now

Pin docutils to < 0.18 for now

We will have to deal with that pain later, but let's unbreak our
CI first.

Merge pull request #10900 from rgacogne/nmg-no-noexcept

NetmaskTree: Drop the 'noexcept' qualifier on the TreeNode ctor

NetmaskTree: Drop the 'noexcept' qualifier on the TreeNode ctor

Coverity reports that it was already too restrictive with the existing
Netmask key (see CID 1465032) and clearly is now for the AddressAndPort
one (CID 373668).

Merge pull request #10897 from rgacogne/ddist-unbreak-el7-nullptr

dnsdist: Fix the dynblock tests for EL7

dnsdist: Fix the dynblock tests for EL7

Merge pull request #10893 from appliedprivacy/patch-7

docs: describe resource-limits metric

Merge pull request #10892 from appliedprivacy/patch-6

rec metrics docs: add ref to stats-rec-control-disabled-list

Merge pull request #10845 from rgacogne/ddist-doh-backend-rebased-remote-close

dnsdist: Keep watching idle DoH backend connections

Merge pull request #10895 from omoerbeek/rec-secpoll-fix2

dot vs dash

dot vs dash

Merge pull request #10894 from omoerbeek/rec-fix-secpoll

rec: fix secpoll, I changed auth instead of rec

fix secpoll

docs: describe resource-limits metric

information taken from @rgacogne 's email:
https://mailman.powerdns.com/pipermail/pdns-users/2021-October/027446.html

Merge pull request #10882 from omoerbeek/rec-prep-4.6.0-alpha2

Prep for rec-4.6.0-alpha2

Combine three related merges

Merge pull request #10888 from appliedprivacy/patch-4

add fd-usage metric to Recursor documentation

Merge pull request #10815 from rgacogne/ddist-dynblock-masks

dnsdist: Add range support for dynamic blocks

Merge pull request #10875 from rgacogne/ddist-doh-pickup-multiple-responses

dnsdist: Read as many DoH responses as possible before yielding

Merge pull request #10874 from rgacogne/ddist-fix-healthcheck-exception

dnsdist: Properly handle I/O exceptions in the health checker

rationale why packetcache-bytes is disabled by default

Co-authored-by: Remi Gacogne <github@coredump.fr>

rationale why cache-bytes is disabled by default

Co-authored-by: Remi Gacogne <github@coredump.fr>

fd-usage is supported on OpenBSD

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: A goaway frame can't be a headers or data one

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #10891 from omoerbeek/rec-fd-usage-opensbsd

Implement fd-usage metric for OpenBSD

remove whitespace

rec metric docs: add ref to stats-rec-control-disabled-list

some metrics are disabled by default #10890

dnsdist: Add an error message on a DoH internal pipe short read

dnsdist: Fix an erroneous comment in health check handling (thanks Otto!)

Implement fd-usage metric for OpenBSD

fd-usage is available on Linux only

add undocumented fd-usage metric

description is copied from dnsdist
https://dnsdist.org/statistics.html#fd-usage

Prep for rec-4.6.0-alpha2

Merge pull request #10881 from omoerbeek/speedtest-burtle-sip

Add speedtest for burtle and siphash

Merge pull request #10879 from rgacogne/ddist-log-transport

Support DoT, DoH and DNSCrypt transports for protobuf and dnstap

Merge pull request #10872 from omoerbeek/dnsquestion-hash

Small rewrite of hashQuestion that avoids muliple burtle calls

Add guard as noted by pieterlexis

Add speedtest for burtle and sip

Avoid Undefined Behaviour by making sure the packet size is at least
the size passed in

ProtobufLogger: Use introspection to convert the transport to string

Merge pull request #10880 from jsoref/grammar

docs: fix grammar in modes of operation

Rewrite of hashQuestion that avoids muliple burtle calls and use safer idiom

docs: fix grammar in modes of operation

Support DoT, DoH and DNSCrypt transports for protobuf and dnstap

Update our protocol buffer message definitions to include more protocols

Proposed upstream: https://github.com/PowerDNS/dnsmessage/pull/5

Update the dnstap message to include more transports

dnsdist: Stop over-allocating for DoH queries

It used to be necessary because we had a fixed buffer and might have
needed the space for cache hits, but nowadays we can resize later
if needed so stop wasting memory.

dnsdist: Read as many DoH responses as possible before yielding

We want to read as many responses from the pipe as possible before
giving up. Even if we are overloaded and fighting with the DoH connections
for the CPU, the first thing we need to do is to send responses to free slots
anyway, otherwise queries and responses are piling up in our pipes, consuming
memory and likely coming up too late after the client has gone away.

dnsdist: Properly handle I/O exceptions in the health checker

dnsdist: Add checks for the masks set on a Dynamic Block

NetmaskTree: Unify the two existing lookup() methods