fix secpoll

Merge pull request #10882 from omoerbeek/rec-prep-4.6.0-alpha2

Prep for rec-4.6.0-alpha2

Combine three related merges

Merge pull request #10888 from appliedprivacy/patch-4

add fd-usage metric to Recursor documentation

Merge pull request #10815 from rgacogne/ddist-dynblock-masks

dnsdist: Add range support for dynamic blocks

Merge pull request #10875 from rgacogne/ddist-doh-pickup-multiple-responses

dnsdist: Read as many DoH responses as possible before yielding

Merge pull request #10874 from rgacogne/ddist-fix-healthcheck-exception

dnsdist: Properly handle I/O exceptions in the health checker

fd-usage is supported on OpenBSD

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #10891 from omoerbeek/rec-fd-usage-opensbsd

Implement fd-usage metric for OpenBSD

dnsdist: Add an error message on a DoH internal pipe short read

dnsdist: Fix an erroneous comment in health check handling (thanks Otto!)

Implement fd-usage metric for OpenBSD

fd-usage is available on Linux only

add undocumented fd-usage metric

description is copied from dnsdist
https://dnsdist.org/statistics.html#fd-usage

Prep for rec-4.6.0-alpha2

Merge pull request #10881 from omoerbeek/speedtest-burtle-sip

Add speedtest for burtle and siphash

Merge pull request #10879 from rgacogne/ddist-log-transport

Support DoT, DoH and DNSCrypt transports for protobuf and dnstap

Merge pull request #10872 from omoerbeek/dnsquestion-hash

Small rewrite of hashQuestion that avoids muliple burtle calls

Add guard as noted by pieterlexis

Add speedtest for burtle and sip

Avoid Undefined Behaviour by making sure the packet size is at least
the size passed in

ProtobufLogger: Use introspection to convert the transport to string

Merge pull request #10880 from jsoref/grammar

docs: fix grammar in modes of operation

Rewrite of hashQuestion that avoids muliple burtle calls and use safer idiom

docs: fix grammar in modes of operation

Support DoT, DoH and DNSCrypt transports for protobuf and dnstap

Update our protocol buffer message definitions to include more protocols

Proposed upstream: https://github.com/PowerDNS/dnsmessage/pull/5

Update the dnstap message to include more transports

dnsdist: Read as many DoH responses as possible before yielding

We want to read as many responses from the pipe as possible before
giving up. Even if we are overloaded and fighting with the DoH connections
for the CPU, the first thing we need to do is to send responses to free slots
anyway, otherwise queries and responses are piling up in our pipes, consuming
memory and likely coming up too late after the client has gone away.

dnsdist: Properly handle I/O exceptions in the health checker

dnsdist: Add checks for the masks set on a Dynamic Block

NetmaskTree: Unify the two existing lookup() methods

dnsdist: Fix a bug in the Dynamic Blocks when port ranges are used

Thanks Otto!

dnsdist: Properly format dnsdist-lua.cc once and for all (hopefully)

dnsdist: Add a regression test for port-based dynamic blocks

dnsdist: Add port range support for dynamic blocks

dnsdist: Add support for v4/v6 masks in dynamic blocks

Merge pull request #10866 from omoerbeek/rec-docs-settings-ref

rec: Fix the settings link in ConfigSetting docs

Merge pull request #10870 from neheb/uniq

use make_unique instead of new

Merge pull request #10868 from neheb/make

get rid of make_pair

use make_unique instead of new

Signed-off-by: Rosen Penev <rosenp@gmail.com>

get rid of make_pair

With C++17, std::pair can completely replace make_pair

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Merge pull request #10646 from neheb/empla

convert make_pair to emplace

Fix the settings link

Merge pull request #10858 from rgacogne/ddist-170a2

dnsdist: Prepare ChangeLog and secpoll updates for 1.7.0-alpha2

Merge pull request #10860 from Habbie/builder-no-fail-fast

gh actions: in the daily package build job, do not abort all if one failed

Merge pull request #10861 from Habbie/auth-stat_t

auth: include stat_t.hh in dist tarball

dnsdist: 1.7.0-alpha2 was not released on Monday, second attempt :)

convert make_pair to emplace

emplace* forwards the arguments directly. Avoids needing make_pair.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Merge pull request #10859 from omoerbeek/rec-docs-underline-and-ref

rec: Underlining and getting refs right is hard

Merge pull request #10856 from omoerbeek/misc-plural-s

Make addS() more versatile and use modern C++ (enable_if_t).

auth: include stat_t.hh in dist tarball

gh actions: in the daily package build job, do not abort all if one failed

Underlining and getting refs right is hard

Merge pull request #10795 from pieterlexis/ddist-rec-syslog-ident

Rec and dnsdist: add syslog identifier to service file

Merge pull request #10842 from omoerbeek/rec-appliedPolicyTrigger-value

rec: correct appliedPolicyTrigger value for IP matches

Merge pull request #10843 from chbruyand/recursor-logs-nod

rec: NOD - use structured logging API

Process review comments

Merge pull request #10841 from rgacogne/ddist-gnutls-client-creds

dnsdist: Use per-thread credentials for GnuTLS client connections

Add SSLKEYLOGFILE to the spell checker allow list

dnsdist: Prepare ChangeLog and secpoll updates for 1.7.0-alpha2

Merge pull request #10857 from omoerbeek/test-fix-unsigned-warnings

Fix two unsigned warnings as seen on OpenBSD/clang

Fix two unsigned warnings as seen on OpenBSD/clang

Make addS() more versatile and use modern C++ (enable_if_t).
Use new args pdnsutil to get primary vs primaries correct.

Merge pull request #10851 from Habbie/fix-url

recursor: fix url in socket dir log message

Merge pull request #10853 from rgacogne/ddist-unbreak-dynblocks-unit-tests

dnsdist: Unbreak the dynblock unit tests

dnsdist: Unbreak the dynblock unit tests

10835 conflicted with 10833 in a way not caught by our workflow.

Merge pull request #10835 from rgacogne/ddist-smt-reason

dnsdist: Allow setting the block reason from the SMT callback

Merge pull request #10846 from rgacogne/ddist-shared-to-unique-structs-size

dnsdist: Replace shared by unique ptrs, reduce structs size

rec: only initialize NOD logger if it might be used

recursor: fix url in socket dir log message

Also moved setting of hit value to find functions mostly.

In a few cases (wildcard processing) the matched value is not the
hit as seen by the find function and an overide is needed.

Process review comments and extend unit tests

dnsdist: Fix formatting

Merge pull request #10848 from omoerbeek/dnsdist-includedir-recursion

dnsdist: Only set recursion protection once we know we do not return

Only set recursion protection once we know we do not return because of an error.

Also catch exception thrown by executeCode.

Merge pull request #10827 from Habbie/gh-actions-3

more GH actions work

Merge pull request #10847 from omoerbeek/update-dnsmessage.proto

Sync dnsmessage.proto

Sync with https://github.com/PowerDNS/dnsmessage

gh actions: ixfrdist, auth-algorithms, auth-py, auth gsqlite3, auth-nobackend

also, remove dnsdist from CircleCI as it's already fully covered in GH Actions now

Merge pull request #10567 from omoerbeek/rec-eventtrace

Rec: eventtrace

whitespace in dnsmessage.proto

Fix rebase botch that partially undid PR #10797

dnsdist: Replace shared by unique ptrs, reduce structs size

This commit replaces the DNSCrypt and QTaq shared pointers by unique ones,
since these are not actually shared. This should improve performance a
bit since we no longer need to clear a cache line for the reference
counter. It also reduces the size of the IDState and DNSQuestion structures
by a few bytes.
It also removes a few fields in the DOHUnit structure that are redundant
with ones in the embedded IDState structure.
The rest of the commit re-order fields in various structures to prevent
wasted space due to padding, reducing the memory footprint of these structs.

On x86_64 (in bytes):

IDState 344 -> 328
DOHUnit 712 -> 632
TCPQuery 416 -> 400
IncomingTCPConnectionState 968 -> 944
TCPConnectionToBackend 728 -> 712
DownstreamState 2368 -> 2240

Merge pull request #10782 from rgacogne/ddist-more-http2-coverage

dnsdist: Improve the coverage of the outgoing DoH code

Merge pull request #10844 from rgacogne/ddist-clear-udp-states-tcp-only-backend

dnsdist: Clear the UDP states of TCP-only backends

dnsdist: Clear the UDP states of TCP-only backends

rec: NOD - use structured logging API

Add regression test

Merge pull request #10840 from omoerbeek/rec-test-extra-records-in-answer

rec: Add tests (with and without DNSSEC validation) for records in the answer section not asked for

Put the right string into appliedPolicyTrigger for Netmask matching rules
(ns, client, response). The NetMaskTree has it.

dnsdist: Add XForwarded to the spell checker list

dnsdist: Add regression tests for outgoing DoH health-checks and X-Forwarded-* headers

dnsdist: Document addXForwardedHeaders on DoH backends

dnsdist: Clean up Lua objects before exiting, in coverage mode

dnsdist: Better handling of exceptions in the TCP/DoH workers

Exceptions might be raised when the process is exiting because the
internal pipes have been closed by the remote end, for example when
coverage mode is enabled.

Merge pull request #10775 from rgacogne/ddist-fix-unit-tests-connectivity

dnsdist: Fix the unit tests to handle v4-only or v6-only connectivity

Merge pull request #10823 from rgacogne/ddist-outgoing-release-buffer-renego

dnsdist: Disable TLS renegotiation, release buffers for outgoing TLS

Merge pull request #10822 from rgacogne/ddist-document-dynblock-ringbuffer-link

dnsdist: Document the ringbuffers' size impacts Dynamic Blocks

Merge pull request #10821 from rgacogne/rename-queued-processed-remote-logger

Rename the 'queued' metric of the Remote Logger to 'processed'