dnsdist: Fix invalid proxy protocol payload on a DoH TC to TCP retry

dnsdist forwards incoming DoH queries to its backend over UDP, and
retry over TCP if the response is truncated (TC=1).
When the proxy protocol is used between dnsdist and its backend, the
second query, over TCP, needs to take into account that the proxy
protocol payload has already been handled. This was not properly done
in that exact case because the proxy protocol payload length was not
propagated to the code handling the TCP communication, leading to
the query ID being edited at the wrong offset in the packet and thus
to an invalid proxy protocol payload.

(cherry picked from commit 1c9c001cbe327023e5d490e5bc044d67ecae9cf2)

Merge pull request #11663 from rgacogne/ddist17-protobuf-python-impl

dnsdist-1.7.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11579 from rgacogne/ddist17-skip-scan-no-outstanding

dnsdist-1.7: Scan the UDP buckets only when we have outstanding queries

Merge pull request #11580 from rgacogne/ddist17-healthcheck-mplexer

dnsdist-1.7.x: Only allocate the health-check mplexer when needed

dnsdist-1.7.x: Only allocate the health-check mplexer when needed

When health-checking is disabled, or when a check delay longer than one
second is used, there is no need to allocate a new multiplexer object
every second.

(cherry picked from commit 017337515725264173e4d1f254bc0a19e4da6f4a)

dnsdist-1.7: Scan the UDP buckets only when we have outstanding queries

Merge pull request #11572 from rgacogne/ddist17-check-interval-timeouts

dnsdist-1.7.x: The check interval applies to health-check, not timeouts

dnsdist: The check interval applies to health-check, not timeouts

Merge pull request #11566 from rgacogne/ddist171-backports

dnsdist-1.7.x: Backports for 1.7.1

Merge pull request #11550 from rgacogne/ddist17-bpf-block-action

dnsdist-1.7.x: Properly use eBPF when the DynBlock is not set

dnsdist: Fix wrong eBPF values (qtype, counter) being inserted for qnames

(cherry picked from commit 815aee7a22c749b0e4729318d66af311f5137314)

dnsdist: Fix formatting

(cherry picked from commit 9c591809dad79eaae701120ba75401cb0489470e)

dnsdist: Add a 'getAddressAndPort()' method to DOHFrontend and TLSFrontend objects

(cherry picked from commit 59090737335dc8fe412ed00d2e73e3cf056713c9)

dnsdist: Raise the number of entries in a packet cache to at least 1

And make sure that we cannot create such an object.

(cherry picked from commit ffae2ddce64501226153261927178618d7d94a06)

dnsdist: Use the correct outgoing protocol in our ring buffers

(cherry picked from commit d5578666bcfb4f8c994e44a355bd786f232482e2)

Better GnuTLS warning as suggested by Matt Nordhoff

Co-authored-by: Matt Nordhoff <mnordhoff@mattnordhoff.com>
(cherry picked from commit 298de588dacb292791088c155fc347082a39ca80)

dnsdist: Remove the leak warning with GnuTLS >= 3.7.3

(cherry picked from commit dc75dd372225f29a200794c019f78f20f3f496a9)

Better description of latency-count and latency-bucket

(cherry picked from commit c1a71fed871d65c45ac3dbdfddef2f0324e5b17e)

dnsdist: Fix the latency-count metric

(cherry picked from commit 3df91da4c285a82179434f3009c94b865490a5a3)

dnsdist: Fix 'inConfigCheck()'

(cherry picked from commit dd6dfd9914f7e244b1a7170137c267c17752e47a)

dnsdist: Fix the health-check timeout for outgoing DoH connections

The health-check timeout is in milliseconds, contrary to the other
ones that are in seconds.

(cherry picked from commit 68f77a91b7d4e712bc068c02e64097651a6f30a6)

dnsdist: Add regression tests for outgoing SNI

(cherry picked from commit bff628697a6a21b627ff9f9e5f3962de6b627380)

TCPIOHandler: Handle empty TLS hostname in outgoing connections

(cherry picked from commit 4d6004bda9401c82a35fdd148c89120c0d09f2c0)

dnsdist: Set Server Name Indication on outgoing TLS connections (DoT, DoH)

(cherry picked from commit 3a692438ae8353544c934ac6f6c53dce0a55c70a)

test ubuntu jammy build target

(cherry picked from commit e3d50799180eb4499f8dda5263773775301bfa7e)

add ubuntu jammy build target

(cherry picked from commit 6c1e5fd70b4dd4e75b18ff8c75f93c7d22122643)

Stop using the now deprecated and useless std::binary_function

It is no longer needed since the types can now be automatically
deduced, has been deprecated in C++11 and removed in C++17.

(cherry picked from commit 7587bcbea8a9cb3058cb2e6d7f6a2597494b6713)

Work around a compiler bug seen on OpenBSD/amd64 using clang-13 and make the code a tiny bit more pretty.
Fixes #11113.

(cherry picked from commit 36c5a9e7129d68a7c7334437965c2db127e10428)

dnsdist: Properly use eBPF when the DynBlock is not set

When the DynBlock rule does not set a specific action we use the
default one, set with `setDynBlocksAction()`, so we should follow
the same logic when determining whether to insert an eBPF block.

(cherry picked from commit 8742251acdcce8cd27d859595e5e30cecfa4e4ab)

Merge pull request #11551 from rgacogne/ddist17-docs-pin-jinja2

dnsdist-1.7.x: Pin jinja2 to < 3.1.0

docs: Pin jinja2 to < 3.1.0

Jinja2 3.1.0 removed deprecated code that is still used by sphinx
1.8.x, and it looks like our custom sphinx extensions are not working
with more recent versions of sphinx..

See:
- https://github.com/pallets/jinja/issues/1631
- https://github.com/readthedocs/readthedocs.org/issues/9037

and

- https://github.com/PowerDNS/pdns/pull/7712

The exact error is:
```
Extension error:
Could not import extension sphinx.builders.latex (exception: cannot import name 'contextfunction' from 'jinja2' (/dnsdist/pdns/dnsdistdist/.venv/lib/python3.7/site-packages/jinja2/__init__.py))
```

(cherry picked from commit 92ad29702011ac7cbd0d7d118ba612e7e07cedbe)

Merge pull request #11335 from rgacogne/ddist17-fix-xfr-error-crash

dnsdist-1.7.x: Fix a use-after-free in case of a network error in the middle of a XFR query

dnsdist: Add a unit test for the "I/O error during proxy-enabled XFR" case

(cherry picked from commit 2d87738d7a85b91b522277f344491c6ee2e09c8e)

dnsdist: Fix a use-after-free in case of a network error in the middle of a XFR query

(cherry picked from commit 76a72b6b57397d15a217eae0d9936e704b3f4cf2)

Merge pull request #11292 from Habbie/backport-11290-to-dnsdist-1.7.x

dnsdist 1.7.x Docker image: install ca-certificates

dnsdist Docker image: install ca-certificates

(cherry picked from commit d256ad02c53c470b9fb035fe4b29daeb686e9734)

Merge pull request #11278 from Habbie/backport-11262-to-dnsdist-1.7.x

dnsdist-1.7.x: builder: migrate EL8 builds to oraclelinux, rename centos8 to el8 where possible

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

Merge pull request #11094 from Habbie/backport-11081-to-dnsdist-1.7.x

dnsdist-1.7: Docker images: remove capability requirements

Merge pull request #11195 from rgacogne/ddist17-openssl3

dnsdist-1.7.x: Fix compilation with OpenSSL 3.0.0

dnsdist-1.7.x: Fix compilation with OpenSSL 3.0.0

Merge pull request #11156 from rgacogne/ddist17-warning-ratio

dnsdist-1.7.x: Test correct member in DynBlockRatioRule::warningRatioExceeded

Test correct member in DynBlockRatioRule::warningRatioExceeded

Also sprinkle in some more checks of d_enabled.

Fixes #11131

(cherry picked from commit b1fd5841e92719049751836cce728b136aaddb4a)

Merge pull request #11104 from rgacogne/ddist17-doh-tc-check-query-size

dnsdist-1.7.x: Check the size of the query when re-sending a DoH query

Merge pull request #11106 from rgacogne/ddist17-unbreak-compilation-without-doh

dnsdist-1.7.x: Fix compilation without incoming DoH support

dnsdist: Fix compilation without incoming DoH support

(cherry picked from commit d0ae90801838ed9104051fa11fa577f3a96a9289)

Merge pull request #11103 from rgacogne/ddist17-fix-dropped-doh-cross-responses

dnsdist-1.7.x: Fix a double-free when a DoH cross-protocol response is dropped

Merge pull request #11085 from rgacogne/ddist17-remove-non-ddist-ci

dnsdist-1.7.x: Remove non dnsdist-related CI steps

dnsdist: Account for the proxy protocol payload when checking the query size

(cherry picked from commit 4546141949cce7e2518f94d23361c02cb11a65c4)

dnsdist: Check the size of the query when re-sending a DoH query

When the UDP response to a DoH query was truncated, we re-send the
query via TCP, passing it to a TCP worker. We need to edit the ID
to its original value before that, and while there is no reason
that the query is smaller than a dnsheader, we need to check its size,
not the size of the response.

(cherry picked from commit 5d552300959a5133546bb65ddeb8ce918d598c08)

dnsdist: Clarify that if the call failed we still own the DOHUnit

(cherry picked from commit 9d53151a282e9a98f75d28e8fcbff7901a07b592)

dnsdist: Add comments on reference counting around our internal pipe

(cherry picked from commit e36f950460e7fa8e53c9b6751e244d15f6bcd24c)

dnsdist: Use an alias for the DOHUnit unique pointer

(cherry picked from commit 9f46a693ffc6a9e7614f787726b210731fe10a8d)

dnsdist: Fix typo spotted by Otto

(cherry picked from commit 1fa2cd69bfd3a4edfa54e84795962c74e31794b6)

dnsdist: Increment the DoH ref counter before writing to the pipe

As far as I can tell this is not actually needed, as we decrement
it right away, but it prevents TSAN from reporting a race when the
UDP response comes very fast, is truncated, and the query is then
passed to a TCP worker. TSAN seems to think that the thread is still
sending the UDP query when we touch it again in the TCP worker, which
does not really make sense to me.
My guess is that the memory barrier needed to update the ref counter
makes TSAN happy, but I might be missing something.

(cherry picked from commit 7a90dbde7b01321783d73d71520abd3fa380a9c8)

dnsdist: Wrap the DOHUnit object in a unique_ptr whenever possible

(cherry picked from commit 871e5e481310f1e51bfb76319d5f49a27d21804d)

dnsdist: Refactoring of the DoH unit handling

(cherry picked from commit 2171e7c7ef360c5646646c6504d29d83a74e18c2)

dnsdist: Fix a leak when a UDP response for DoH is truncated

(cherry picked from commit 65ef9d4617349aac5e350e07fcce3a7e7ee3be67)

dnsdist: Fix a double-free when a DoH cross-protocol response is dropped

(cherry picked from commit dbd2a418d299891e5af3b2376f41bb7464dae45d)

Additional note on Docker Engine version where the requirement of the additional capability was dropped

(cherry picked from commit 07b24e5743c08c828c73a93e724a86a5b83b680a)

Remove capability requirements from Docker images

(cherry picked from commit f28c81ed0242b6838eafdb61933a6f63b68040cf)

dnsdist-1.7.x: Remove non dnsdist-related CI steps

Merge pull request #11078 from rgacogne/ddist-ffi-spoof-raw-no-const

dnsdist: Fix const-correctness of dnsdist_ffi_raw_value_t's value

dnsdist: Fix const-correctness of dnsdist_ffi_raw_value_t's value

This prevent an allocation and a copy since we can now directly pass
a Lua string.

Merge pull request #11073 from jsoref/grammar

Minor fixes

Minor fixes

Guided by app.grammarly.com

Merge pull request #11070 from omoerbeek/rec-regr-logs

rec: Regression tests: startup/cleanup fixes

Merge pull request #11068 from Habbie/bind-hybrid-zone-cache

auth: prevent bind-hybrid+zone-cache

Merge pull request #11067 from Habbie/pdnsutil-ds-sha1-verbose

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

Merge pull request #11066 from zeha/auth-api-zonecache-flush-small

Auth: add zone to zonecache on flush API endpoint

Merge pull request #11071 from PowerDNS/omoerbeek-patch-1

Wrong title of check

Merge pull request #11069 from omoerbeek/rec-no-eventtrace-on-no-lua

rec: Do not generate eventtrace records if no Lua hook is defined

Cleanup start and stop code

- more clearly print startup logs in case of exec error
- do not try to kill a process that's already dead
- do not call exit, but throw an AssertionError on startup issues

Also print logs on no exception

Wrong title of check

auth API: add zone to zonecache in flush endpoint

auth: prevent bind-hybrid+zone-cache, fixes #10658

auth API: purge entire zone from cache, not just zone-level records

Merge pull request #11064 from omoerbeek/docs-secpoll-status

secpoll: for pre-releases, use status 2 when supserseded.

Do not generate eventtrace records if no Lua hook is defined

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

For pre-releases, use status 2 when supserseded.

Merge pull request #11063 from omoerbeek/rec-prep-4.6.0-rc1

rec: Prep for rec-4.6.0-rc1

Merge pull request #11054 from rgacogne/ddist-fix-webserver-headers-doc

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

Update pdns/recursordist/docs/changelog/4.6.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Prep for rec-4.6.0-rc1

Merge pull request #10982 from omoerbeek/systemd-dir-env-cond

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

`setWebserverConfig()` accepts a 'customHeaders' key, and not a
'custom_headers' one. Also update the documentation for `webserver()`
where it does not really matter so they are in sync.

Merge pull request #11039 from rgacogne/ddist-split-advanced-regression

dnsdist: Split the huge test_Advanced regression test file

Merge pull request #11043 from omoerbeek/rec-regr-fast-startup-teardown

rec: Regression tests: smarter and faster startup and teardown of auth and rec

Merge pull request #11050 from omoerbeek/rec-catch-guard-ex

rec: Catch an exception in guard destructor as seen by coverity.

Merge pull request #11033 from omoerbeek/circleci-drop-formatting

CircleCI: drop formatting check, superseded by GH workflows

Wait for web server to come online before proceeding

Set timeout on TCP connect attempt

Wait for webserver to come up

Wait until outgoing requests stabilizes before starting tests, rec might stil be busy resolving hints.