dnsdist: Add an error message on a DoH internal pipe short read

dnsdist: Read as many DoH responses as possible before yielding

We want to read as many responses from the pipe as possible before
giving up. Even if we are overloaded and fighting with the DoH connections
for the CPU, the first thing we need to do is to send responses to free slots
anyway, otherwise queries and responses are piling up in our pipes, consuming
memory and likely coming up too late after the client has gone away.

Merge pull request #10866 from omoerbeek/rec-docs-settings-ref

rec: Fix the settings link in ConfigSetting docs

Merge pull request #10870 from neheb/uniq

use make_unique instead of new

Merge pull request #10868 from neheb/make

get rid of make_pair

use make_unique instead of new

Signed-off-by: Rosen Penev <rosenp@gmail.com>

get rid of make_pair

With C++17, std::pair can completely replace make_pair

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Merge pull request #10646 from neheb/empla

convert make_pair to emplace

Fix the settings link

Merge pull request #10858 from rgacogne/ddist-170a2

dnsdist: Prepare ChangeLog and secpoll updates for 1.7.0-alpha2

Merge pull request #10860 from Habbie/builder-no-fail-fast

gh actions: in the daily package build job, do not abort all if one failed

Merge pull request #10861 from Habbie/auth-stat_t

auth: include stat_t.hh in dist tarball

dnsdist: 1.7.0-alpha2 was not released on Monday, second attempt :)

convert make_pair to emplace

emplace* forwards the arguments directly. Avoids needing make_pair.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Merge pull request #10859 from omoerbeek/rec-docs-underline-and-ref

rec: Underlining and getting refs right is hard

Merge pull request #10856 from omoerbeek/misc-plural-s

Make addS() more versatile and use modern C++ (enable_if_t).

auth: include stat_t.hh in dist tarball

gh actions: in the daily package build job, do not abort all if one failed

Underlining and getting refs right is hard

Merge pull request #10795 from pieterlexis/ddist-rec-syslog-ident

Rec and dnsdist: add syslog identifier to service file

Merge pull request #10842 from omoerbeek/rec-appliedPolicyTrigger-value

rec: correct appliedPolicyTrigger value for IP matches

Merge pull request #10843 from chbruyand/recursor-logs-nod

rec: NOD - use structured logging API

Process review comments

Merge pull request #10841 from rgacogne/ddist-gnutls-client-creds

dnsdist: Use per-thread credentials for GnuTLS client connections

Add SSLKEYLOGFILE to the spell checker allow list

dnsdist: Prepare ChangeLog and secpoll updates for 1.7.0-alpha2

Merge pull request #10857 from omoerbeek/test-fix-unsigned-warnings

Fix two unsigned warnings as seen on OpenBSD/clang

Fix two unsigned warnings as seen on OpenBSD/clang

Make addS() more versatile and use modern C++ (enable_if_t).
Use new args pdnsutil to get primary vs primaries correct.

Merge pull request #10851 from Habbie/fix-url

recursor: fix url in socket dir log message

Merge pull request #10853 from rgacogne/ddist-unbreak-dynblocks-unit-tests

dnsdist: Unbreak the dynblock unit tests

dnsdist: Unbreak the dynblock unit tests

10835 conflicted with 10833 in a way not caught by our workflow.

Merge pull request #10835 from rgacogne/ddist-smt-reason

dnsdist: Allow setting the block reason from the SMT callback

Merge pull request #10846 from rgacogne/ddist-shared-to-unique-structs-size

dnsdist: Replace shared by unique ptrs, reduce structs size

rec: only initialize NOD logger if it might be used

recursor: fix url in socket dir log message

Also moved setting of hit value to find functions mostly.

In a few cases (wildcard processing) the matched value is not the
hit as seen by the find function and an overide is needed.

Process review comments and extend unit tests

dnsdist: Fix formatting

Merge pull request #10848 from omoerbeek/dnsdist-includedir-recursion

dnsdist: Only set recursion protection once we know we do not return

Only set recursion protection once we know we do not return because of an error.

Also catch exception thrown by executeCode.

Merge pull request #10827 from Habbie/gh-actions-3

more GH actions work

Merge pull request #10847 from omoerbeek/update-dnsmessage.proto

Sync dnsmessage.proto

Sync with https://github.com/PowerDNS/dnsmessage

gh actions: ixfrdist, auth-algorithms, auth-py, auth gsqlite3, auth-nobackend

also, remove dnsdist from CircleCI as it's already fully covered in GH Actions now

Merge pull request #10567 from omoerbeek/rec-eventtrace

Rec: eventtrace

whitespace in dnsmessage.proto

Fix rebase botch that partially undid PR #10797

dnsdist: Replace shared by unique ptrs, reduce structs size

This commit replaces the DNSCrypt and QTaq shared pointers by unique ones,
since these are not actually shared. This should improve performance a
bit since we no longer need to clear a cache line for the reference
counter. It also reduces the size of the IDState and DNSQuestion structures
by a few bytes.
It also removes a few fields in the DOHUnit structure that are redundant
with ones in the embedded IDState structure.
The rest of the commit re-order fields in various structures to prevent
wasted space due to padding, reducing the memory footprint of these structs.

On x86_64 (in bytes):

IDState 344 -> 328
DOHUnit 712 -> 632
TCPQuery 416 -> 400
IncomingTCPConnectionState 968 -> 944
TCPConnectionToBackend 728 -> 712
DownstreamState 2368 -> 2240

Merge pull request #10782 from rgacogne/ddist-more-http2-coverage

dnsdist: Improve the coverage of the outgoing DoH code

Merge pull request #10844 from rgacogne/ddist-clear-udp-states-tcp-only-backend

dnsdist: Clear the UDP states of TCP-only backends

dnsdist: Clear the UDP states of TCP-only backends

rec: NOD - use structured logging API

Add regression test

Merge pull request #10840 from omoerbeek/rec-test-extra-records-in-answer

rec: Add tests (with and without DNSSEC validation) for records in the answer section not asked for

Put the right string into appliedPolicyTrigger for Netmask matching rules
(ns, client, response). The NetMaskTree has it.

dnsdist: Add XForwarded to the spell checker list

dnsdist: Add regression tests for outgoing DoH health-checks and X-Forwarded-* headers

dnsdist: Document addXForwardedHeaders on DoH backends

dnsdist: Clean up Lua objects before exiting, in coverage mode

dnsdist: Better handling of exceptions in the TCP/DoH workers

Exceptions might be raised when the process is exiting because the
internal pipes have been closed by the remote end, for example when
coverage mode is enabled.

Merge pull request #10775 from rgacogne/ddist-fix-unit-tests-connectivity

dnsdist: Fix the unit tests to handle v4-only or v6-only connectivity

Merge pull request #10823 from rgacogne/ddist-outgoing-release-buffer-renego

dnsdist: Disable TLS renegotiation, release buffers for outgoing TLS

Merge pull request #10822 from rgacogne/ddist-document-dynblock-ringbuffer-link

dnsdist: Document the ringbuffers' size impacts Dynamic Blocks

Merge pull request #10821 from rgacogne/rename-queued-processed-remote-logger

Rename the 'queued' metric of the Remote Logger to 'processed'

Merge pull request #10820 from rgacogne/ddist-add-hashed-changelog-upgrade

dnsdist: Add #10157 to the upgrade guide and the 1.7.0-alpha1 ChangeLog

Merge pull request #10836 from rgacogne/rec-no-false-sharing

rec: Prevent false sharing for the recursor's metrics

Fix botch spotted by rgacogne: setup the part of the protobuf message that
is copied to the packet cache *before* we do the copy.

Correct type for timestamp

Process review comments: move semantics, more general event names and
re-adjust timebase if an event is added before the current base.

Update docs now that a few things have changed.

Allow for a custom eventtype, with a user-specified name

Move timestamps to a signed type

Comments in .proto file

Docs for event tracing

Basic runtime global enabling/disabling of event traces via setting and rec_control

Add explicit uint32_t and int32_t  setter, GCC thinks it is needed

Move the sending of protobuf resp down so it has all the events

Add pre gettagffi trace points

Start of protobuf handling

Start of eventTrace code.

Missing: config, many trace points, protobuf export.

dnsdist: Use per-thread credentials for GnuTLS client connections

It looks like there is a race in some versions when the credentials
are shared between several threads opening TLS client connections.

Add tests (with and without DNSSEC validation) for records in the answer section not asked for

Fixes #6332

Merge pull request #10797 from omoerbeek/rec-pc-ttl-no-records

rec: Use packetcache-servfail-ttl for all packet cache entries considered an error reply

Add missing include

Convert more atomics to stat_t and eliminate AtomicCounter form the recursor
(except in cases that are shared by with auth).

I changed two AtomicCounters to atomic<int32>; their range is limited and
they are not updated very frequently.

Merge pull request #10837 from gmelikov/examples

Recursor: clean up kv-example-script.lua

Merge pull request #10832 from phonedph1/concurrent-idea

dnsdist: Rule for basing decisions on outstanding queries in a pool

Merge pull request #10838 from omoerbeek/rec-structlog-backward

rec: A compatibiliy macro to have bold old and new (structured) logging.

Merge pull request #10839 from omoerbeek/rec-rpz-extendedErrorCode-docs

rec: Provide a little example for extendedErrorCode/extendedErrorExtra

test case

typo; update version; actually include the Lua binding

typo

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #10814 from chbruyand/dnsdist-setednsoptionaction

dnsdist: add lua support for SetEDNSOptionAction

Merge pull request #10833 from chbruyand/dnsdist-protocol-grepq

dnsdist: add incoming and outgoing protocols to grepq

Spelling: add EDE as a word

Tell the default value inn the upgrade notes

Provide a little example for extendedErrorCode/extendedErrorExtra

Add setting to switch to non-structed logging

kv-example-script.lua: clean up spaces + empty lines