gh actions - build-and-test-all: use a ubuntu-22 runner for job collect

gh actions - replace yq snap in collect job build-and-test-all

Merge pull request #13884 from Habbie/dnsdist-1.7-no-spelling

dnsdist-1.7.x: remove spell checker

dnsdist-1.7.x: remove spell checker

Merge pull request #13697 from omoerbeek/backport-13675-to-dnsdist-1.7.x

Backport 13675 to dnsdist 1.7.x: Fix documentation building error for dnsdist and recursor

dnsdist: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit c2a7ef8bd4f2423e2dc0eaa4d4a46de99b44636b)

rec: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit ac89467f17bb888fbd48c0f4c5267beab95aebee)

Merge pull request #13574 from romeroalx/rel/dnsdist-1.7.x-wc

GH Actions - rel/dnsdist-1.7.x: make `build-and-test-all` and `builder` workflows reusable from other branches

gh actions: simplified collector job in build-and-test-all.yml

make builder workflow reusable

make build-and-test-all reusable

Switch from deprecated ::set-output

https://github.blog/changelog/2022-10-11-github-actions-deprecating-save-state-and-set-output-commands/

build(deps): bump actions/download-artifact from 2 to 3

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 2 to 3.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/v2...v3)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Use actions/cache@v3

build(deps): bump actions/setup-python from 2 to 4

Bumps [actions/setup-python](https://github.com/actions/setup-python) from 2 to 4.
- [Release notes](https://github.com/actions/setup-python/releases)
- [Commits](https://github.com/actions/setup-python/compare/v2...v4)

---
updated-dependencies:
- dependency-name: actions/setup-python
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/upload-artifact from 1 to 3

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 1 to 3.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/v1...v3)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Use actions/checkout@v3

build-and-test-all: add functionality to quickly switch ubuntu mirrors

Set policy to not start/enable services by default

Merge pull request #13357 from Habbie/backport-13355-to-dnsdist-1.7.x

dnsdist 1.7 Docker: enable h2o again, using our fork

dnsdist Docker: enable h2o again, using our fork

(cherry picked from commit de02bfc)

Merge pull request #13351 from rgacogne/ddist17-powerdns-h2o-h2-rapid-reset

dnsdist-1.7.x: Switch to our fork of h2o to mitigate the HTTP2 rapid reset attack

Update FIXME comment in build-scripts/gh-actions-setup-inv

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit 03db3c76cf5b8fdf6df24180e8e5cf64f706e14d)

workaround for grub error raised after apt-get dist-upgrade

(cherry picked from commit 735582e64f176c9fbca3c3fc20c162f6c94ae8cd)

builder-support: Use curl's "fail fast with no output at all on server errors" option

(cherry picked from commit 97d18cb451fcac78816604556629278c9ca49d3c)

dnsdist: Switch to our fork of h2o to mitigate http2 rapid reset

(cherry picked from commit 115db75920b73f07c356308df1b83ba296850e2a)

Merge pull request #12622 from rgacogne/dnsdist-1.7.x-bugs

dnsdist-1.7.x: Backport bug fixes

Merge pull request #12646 from rgacogne/ddist17-tologstring

dnsdist: Use toLogString for the qname to prevent an error if it's empty

dnsdist: Use toLogString for the qname to prevent an error if it's empty

Merge pull request #12621 from rgacogne/dnsdist-1.7.x-features

dnsdist-1.7.x: add getPoolNames() function

Merge pull request #12619 from rgacogne/dnsdist-1.7.x-build

dnsdist-1.7.x: Backport build fixes

Merge pull request #12618 from rgacogne/dnsdist-1.7.x-ci

dnsdist-1.7.x: Backport CI fixes

dnsdist: Fix the number of concurrent queries on a backend TCP conn

When we are in the process of sending a query to the backend, that
query is no longer accounted in the "queued" queries nor it is in
the "queued" responses, but we need to take it into account.
Otherwise we might be sending two concurrent queries to a backend
that does not support out-of-order processing (increasing our
latency), or even worse to one that does not support pipelining.

(cherry picked from commit 2848406e55b5a1d2e35bfa9f7c4dbb0c49989a1b)

dnsdist: Extract the logic in SetEDNSOptionAction into a separate function

So that we can reuse and test it without linking issues.

(cherry picked from commit 721569c13d64fc17aa4b6fd420da8556f5917d7f)

dnsdist: Fix indentation

(cherry picked from commit 54d32dc54a1b3a7986b16cff5b6028016ec55d85)

dnsdist: Forward declaration of DNSQuestion should be a struct

(cherry picked from commit 3baa93c2874f96011de57f6179373e568f3c53da)

dnsdist: Add DNSQuestion:setEDNSOption() Lua binding

(cherry picked from commit 21ebaa6e1c9fa87cf5f7a8ceffe7cc840cdec60b)

dnsdist: Add a unit test for SetEDNSOptionAction with DO set

(cherry picked from commit 3165970b7d2ce72de227bbc2962670cebab288bb)

dnsdist: Add a regression test for SetEDNSOptionAction with DO set

(cherry picked from commit f86629741495e735f050e3636be91775f0b4cc09)

dnsdist: Fix a bug in SetEDNSOptionAction

The DNS parser has already converted the "TTL" of the OPT record to
the host byte order before providing to us, and unfortunately we do
not want that for the meta-OPT record, where the TTL is used to encode
the extended rcode, the EDNS version and the DO bits, amongst other
things.
In other places we do parse the TTL from the DNS payload ourselves
and thus do not need to worry about that conversion, but here we
need to convert the value back to the network byte order.

(cherry picked from commit 0d6d240e56629b522e486520171f4f043b2db3c9)

Use stringerror

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit cd0d1c226596ae9ab35a8f9f7992755139294f6a)

Also reconnect on ENETUNREACH.

Ref. #4155

(cherry picked from commit 63f2d2700d5c011df2270beabe92a87168ef3c66)

dnsdist: Fix a possible race in the CDB reload regression tests

(cherry picked from commit d8f842ee5d729394ad4045364d840e349f346b52)

dnsdist: Fix comparison of DNS serials

(cherry picked from commit 8441e20e9547b1caaccf5831b3c666f8f824d40e)

dnsdist: Only IXFR queries can contain a SOA

So the "single SOA" response is only valid for IXFR, not AXFR.
This is the second issue spotted by Håkan Lindqvist in this pull
request, many, many thanks for that :)

(cherry picked from commit 0d44343fc40e7710822b11f2e3f4ae9b1755df04)

dnsdist: Also handle XFR responses with a lower serial than the query

As suggested by Håkan Lindqvist (thanks!).

(cherry picked from commit e09d3a8fcdf5077ee3449bd94d27d37b8ba218a1)

dnsdist: Properly handle single-SOA XFR responses

From rfc1995 section 2 "Brief Description of the Protocol":

"If an IXFR query with the same or newer version number than that of the server is received, it is replied to with a single SOA record of the server's current version, just as in AXFR."

Until now we considered such a message to be an unfinished response to the pending {A,I}XFR, waiting for more DNS messages to come up and keeping the connection open for as long as the remote host was willing to accept that.
This causes an issue for servers keeping the connection open for a very long time, like ixfrdist.

(cherry picked from commit ad2941b4c9e6c6cc81216c160c1aa02d77ac0ba6)

dnsdist: Ignore unclean TLS session shutdown

OpenSSL 3.0 "helpfully" treats an unclean TLS session shutdown as an
error, flooding our logs and killing TLS session resumption. We do
not care about a possible "truncation attack" since we already know
how many bytes we are supposed to get, so we can ignore this.

(cherry picked from commit 099749046c03c1c2ee8d7c83e0fb7f3a66f7c75e)

Properly encode json string containing binary data

The existing code assumes the strings are alreayd valid UTF8 and contain potential out-of-bound accesses.

Also urlEncode path in log lines, as it trips pytest.xml:

Running tests...

$ 'pytest' '--junitxml=pytest.xml' '-v'
==STDOUT===

==STDERRR===
  File "/home/otto/pdns/regression-tests.api/runtests.py", line 304, in <module>
    print(serverproc.stderr.read())
  File "/usr/lib/python3.9/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xeb in position 4304: invalid continuation byte

There might be more places where this is needed.

(cherry picked from commit 1478a2c8713535e4cbd1943e2526e3527d58a19b)

dnsdist: Fix the health-check timeout computation for DoH backend

The remaining milliseconds after handling the full seconds was not
properly converted to microseconds.

(cherry picked from commit 5545db56470250d31c1034fca6e9d884bd4094a3)

dnsdist: Prevent an underflow of the TCP d_queued counter

By incrementing it _before_ writing to the pipe, and decrementing
it in case of an error, we prevent a very possible underflow from
occurring if the reader manages to decrement before we can return
from write and increment it.

(cherry picked from commit 817901ff3cee433ef5febdfc19ff29487b94fdd8)

libssl: Use decltype(&SSL_CTX_free) as suggested by Fred

(cherry picked from commit e99550b86a6e5dacc31ad596bcfe638223654cc8)

dnsdist: Skip invalid OCSP files after issuing a warning

Contrary to certificates and keys, OCSP files are never required to
provide a working DoT or DoH service, so it's better to start even
if would not load all, or any, OCSP files.

(cherry picked from commit d1ce3058fcffd31496346f4575020162f6c49077)

dnsdist: Add a regression test for RCodeAction-related metrics

(cherry picked from commit 8bdce29f8a6cc98663297e8295927721ce5ba466)

dnsdist: Properly update rcode-related metrics on RCodeAction hits

(cherry picked from commit 6e959bfcca7b0675afddf9fed2b3fce6cac03419)

dnsdist: Properly record the incoming flags on a timeout

(cherry picked from commit 58a4b9b3a11dae59ae17f0a2fdbeeed4cc739b38)

add getPoolNames() function

(cherry picked from commit 377c12005b8548a3431ccce4be1dcf5e5b01956f)

dnsdist: Fix the formatting of 'showServers'

Long IPv6 addresses and huge weight and order values were not properly
handled.

(cherry picked from commit 3619223b82681b8176ea6f55d422fc5d316ba77d)

clang14 has reached MacOS

Also upstreamed: https://github.com/tsuna/boost.m4/pull/129

(cherry picked from commit c46730d9de5cb409c260e4d94cb4be3c75a643e5)

dnsdist-protocols.hh: include <cstdint>

This fixes building dnsdist with gcc13:
```
In file included from dnsdist-protocols.cc:26:
dnsdist-protocols.hh:32:8: error: use of enum 'typeenum' without previous declaration
   32 |   enum typeenum : uint8_t
      |        ^~~~~~~~
dnsdist-protocols.hh:32:19: error: 'uint8_t' was not declared in this scope
   32 |   enum typeenum : uint8_t
      |                   ^~~~~~~
dnsdist-protocols.hh:25:1: note: 'uint8_t' is defined in header '<cstdint>'; did you forget to '#include <cstdint>'?
   24 | #include <vector>
  +++ |+#include <cstdint>
   25 | #include <string>
```

(cherry picked from commit f407319cb7374baf06698786f4f39d431a36a3cc)

dnsdist: Disable the send wrappers in our CI

The way the send wrappers are implemented, reading the data _after_
it has been sent, cause them to report a data race that does not
exist with existing implementations:
- we call `send()` from thread 1 to send a query to a backend, never
  touching the data or associated metadata again from that thread
- we get a response from the backend in a different thread, thread 2,
  which will then access the metadata and sometimes (truncated UDP
  answers following a DoH query) even modify the data itself
- ASAN and TSAN complain because the wrapper might still be reading
  the data after the UDP datagram has been sent, which is effectively
  a race, but it does not really make any sense for an actual
  implementation of `send()` to do that.

We work around that by disabling the `send()` wrappers in our CI,
for the dnsdist regression tests only, via `intercept_send=0`.

(cherry picked from commit d22b0337f4b98a2c58a48824469de5f1260c3c2f)

Conditional for SCHEDULED_DOCKER

(cherry picked from commit 48af848853f6dbb583ed2844023cccfa581776eb)

Conditional for SCHEDULED_CODEQL_ANALYSIS

(cherry picked from commit 05e1570b13ef375e4461b1a9c7770dd67781b1cb)

Conditional for SCHEDULED_JOBS_BUILDER

(cherry picked from commit 8cb4f2698bbef8aa4d027f8e58e74cd0ad2071b4)

Conditional for SCHEDULED_JOBS_BUILD_AND_TEST_ALL

(cherry picked from commit d540dd1cc44c9609c8bf3ce54036e0d15a6dbba8)

Restrict permissions for GITHUB_TOKEN in our workflows

Added using https://github.com/step-security/secure-workflows
For more information see:
- https://github.com/ossf/scorecard/blob/d8fefc9b246db3600c777e9d60d441d7c386ce1d/docs/checks.md#token-permissions
- https://github.blog/changelog/2021-04-20-github-actions-control-permissions-for-github_token/

(cherry picked from commit aff4e1eafa5bbc4e9ef6acee9d73b2154e0ab9b9)

Switch from set-output tot GITHUB_OUTPUT

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>
(cherry picked from commit d3cc827b4d1aa689861cdc85c42f9626b7a71de9)

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

(cherry picked from commit a0c99342e7aa22e16a75d9e7daa4de69d087bc38)

Merge pull request #12460 from Habbie/backport-12453-to-dnsdist-1.7.x

dnsdist-1.7: lock.hh: include <stdexcept>

Merge pull request #12461 from Habbie/dnsdist-1.7.x-docs-lieter-dep

dnsdist-1.7: stop depending on lieter's copies of sphinx modules

docs: move dependencies from pieterlexis to PowerDNS

(cherry picked from commit 9805260c407d8ae14cc613cd8f576e4796469b64)

lock.hh: include <stdexcept>

(cherry picked from commit d8b4ea24dc5dbe7c53c24bfffba24bcae7f58e02)

Merge pull request #12183 from Habbie/dnsdist-1.7.x-value_or

dnsdist-1.7.x: fix building with boost < 1.56

fix one more instance of value_or that we apparently no longer have on master

dnsdist: Fix building with boost < 1.56

boost::optional::value_or() has been introduced in 1.56
and we only require 1.53, so stop using it.

(cherry picked from commit 8464c603664a9d52fdf775413fdbd99357fab566)

Merge pull request #11948 from Habbie/backport-11788-to-dnsdist-1.7.x

dnsdist-1.7: add el9/9stream targets

Merge pull request #11974 from Habbie/backport-11961-to-dnsdist-1.7.x

dnsdist 1.7.x docker: upgrade to bullseye

docker: upgrade to bullseye

(cherry picked from commit a0d3acff25a92627186ee43bead110aef416f59a)

add 9-stream target and test it daily

(cherry picked from commit f021d529629ef9dc7b7983b9d1c7e7ca589b6f13)

add el-9 target

(cherry picked from commit 4728ab89f071c0d5f596638614efb85a26fafdd4)

Merge pull request #11742 from Habbie/backport-11735-to-dnsdist-1.7.x

dnsdist-1.7: dh_builddeb: force gzip compression, thanks Zash!

dh_builddeb: force gzip compression, thanks Zash!

(cherry picked from commit bbfa37c0232b56e2227668717dbb97ce4f01d990)

Merge pull request #11667 from rgacogne/ddist17-fix-proxyprotocol-tc-doh+ddist-fix-proxyprotocol-tc-doh

dnsdist-1.7.x: Fix a crash on a invalid protocol in DoH forwarded-for header

dnsdist: Test for an exception raised when adding proxy protocol payload to a DoH query

(cherry picked from commit dc3ee9ab30c713a57d67f2eba04f59a6c3371a50)

dnsdist: Fix a crash on a invalid protocol in DoH forwarded-for header

(cherry picked from commit f84fbd58b150fe6b69a7af27e23502f58f68eee5)
(cherry picked from commit bcdb279ebd78ee4911baa396c0566ada01232c23)

Merge pull request #11666 from rgacogne/ddist17-lua-binding-dns-payload

dnsdist-1.7.x: Add Lua bindings to access the DNS payload as a string

Merge pull request #11665 from rgacogne/ddist17-fix-proxyprotocol-tc-doh

dnsdist-1.7.x: Fix invalid proxy protocol payload on a DoH TC to TCP retry

Merge pull request #11664 from rgacogne/ddist17-missing-prometheus-descriptions

dnsdist-1.7.x: Add missing descriptions for prometheus metrics

dnsdist: Fix invalid proxy protocol payload on a DoH TC to TCP retry

dnsdist forwards incoming DoH queries to its backend over UDP, and
retry over TCP if the response is truncated (TC=1).
When the proxy protocol is used between dnsdist and its backend, the
second query, over TCP, needs to take into account that the proxy
protocol payload has already been handled. This was not properly done
in that exact case because the proxy protocol payload length was not
propagated to the code handling the TCP communication, leading to
the query ID being edited at the wrong offset in the packet and thus
to an invalid proxy protocol payload.

(cherry picked from commit 1c9c001cbe327023e5d490e5bc044d67ecae9cf2)

dnsdist: Add missing descriptions for prometheus metrics

(cherry picked from commit b03faac0603a3283efc80f3a226c4db614fb2bf2)

dnsdist: Add Lua bindings to access the DNS payload as a string

(cherry picked from commit 1bf2f3b2f126cd26378ae6b848585e0182bf45d4)

Merge pull request #11663 from rgacogne/ddist17-protobuf-python-impl

dnsdist-1.7.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11579 from rgacogne/ddist17-skip-scan-no-outstanding

dnsdist-1.7: Scan the UDP buckets only when we have outstanding queries

Merge pull request #11580 from rgacogne/ddist17-healthcheck-mplexer

dnsdist-1.7.x: Only allocate the health-check mplexer when needed

dnsdist-1.7.x: Only allocate the health-check mplexer when needed

When health-checking is disabled, or when a check delay longer than one
second is used, there is no need to allocate a new multiplexer object
every second.

(cherry picked from commit 017337515725264173e4d1f254bc0a19e4da6f4a)

dnsdist-1.7: Scan the UDP buckets only when we have outstanding queries

Merge pull request #11572 from rgacogne/ddist17-check-interval-timeouts

dnsdist-1.7.x: The check interval applies to health-check, not timeouts

dnsdist: The check interval applies to health-check, not timeouts

Merge pull request #11566 from rgacogne/ddist171-backports

dnsdist-1.7.x: Backports for 1.7.1