dnsdist: Test that the configuration is correctly reloaded

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit a139d6ddef76cabc203d0e9786110a6f3d3b3f2f)

dnsdist: Refresh configuration after `recv` which may have blocked for a long time

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 4f70dcdd60826448b4bcad5a44335de0c45dbeea)

Merge pull request #16096 from rgacogne/ddist20-backport-16082

dnsdist-2.0.x: Backport #16082 - Fix the IO reentry guard in outgoing DoH

dnsdist: Fix the IO reentry guard in outgoing DoH

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 81f0706bdf91c01ee26f8bb18315206af7a70b31)

Merge pull request #16095 from rgacogne/ddist20-backport-16090

dnsdist-2.0.x: Backport 16090 - Fix access to frontends while in client mode

dnsdist: Fix access to frontends while in client mode

Since 2.0 we return `nil` instead of an object containing a `NULL`
pointer when the requested object does not exist, to make it possible
to check the validity of the returned object from `Lua`. It makes
sense in all contexts except when we are in client mode, because
then accessing the object in the remaining parts of the configuration
will trigger an error. Our DNS over HTTPS documentation itself contains
such a Lua configuration snippet, which is now broken.
This commit reverts back to sending an object containg a `NULL`
pointer when accessing the frontends in the client mode case.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit e6b9a30bbe1e198702308d9904d067eb89b646f1)

Merge pull request #16093 from rgacogne/ddist20-backport-15737

dnsdist-2.0.x: Backport 15737 - dnsdist-resolver: Fix a bug when we get new IPs for a server

dnsdist-resolver: Fix a bug when we get new IPs for a server

The `dnsdist-resolver` script regularly checks the IPs corresponding
to a backend `hostname`, and updates our backend accordingly:
- if an IP we previously received vanishes, it removes the backend
  corresponding to that IP
- if a new IP shows up, it adds a new backend

The existing code tries to avoid some work by keeping track of the
number of IPs associated to a given server, skipping the comparisons
of recently received IPs to existing ones if the number did not change.
This unfortunately does not work well if we get the same number of IPs
but with different IPs in the set.
This caused some backends to never get removed and stay along as ghosts,
as well as some new IPs to never be picked up.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit e306ec7a085282893b93214a75ba3aac4d9435b4)

Merge pull request #16080 from rgacogne/ddist20-backport-16015

dnsdist-2.0.x: Backport 16015 - Don't call `nghttp2_session_send` from a callback

Merge pull request #16081 from rgacogne/ddist20-backport-16064

dnsdist-2.0.x: Backport 16064 - Properly handle truncation for UDP responses sent via `sendmmsg`

dnsdist: Properly handle truncation for UDP responses sent via `sendmmsg`

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit bf06a3d6b2f517b0cf365e218c752548029ea4a6)

dnsdist: Fix a typo is an exception message spotted by Miod

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit 28238ca3fb9fab245b90d912a30355567aa7266d)

dnsdist: Apply Miod's suggestion

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit 0cf2668a8c625f72944f682010befbe3089b9dd0)

dnsdist: Fix clang-tidy warnings

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit baad31c2b9db48acd1874db743a1764beaa05931)

dnsdist: Don't call `nghttp2_session_send` from a callback

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit a917d158c3f8994e84b38cacbaec5668b1745460)

dnsdist: Fix a memory access violation in the nghttp2 unit tests

Calling `nghttp2_session_send` from a callback does not work well
when ``nghttp2_session_send`` ends up closing the current stream,
triggering a use-after-free.
It's not clear from the API documentation, but it is mentioned in
the programmers' guide's remarks:

> Do not call `nghttp2_session_send()`, `nghttp2_session_mem_send2()`,
`nghttp2_session_recv()` or `nghttp2_session_mem_recv2()` from the
nghttp2 callback functions directly or indirectly. It will lead to the
crash. You can submit requests or frames in the callbacks then call
these functions outside the callbacks.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 346d37abe3beedcec8c856ea4421311de4df1d24)

Merge pull request #16053 from rgacogne/ddist20-backport-15874

dnsdist-2.0.x: Backport 15874 - Only check the freshness of the configuration when needed

Merge pull request #16052 from rgacogne/ddist20-backport-16043

dnsdist-2.0.x: Backport 16043 - Allow building wth gcc8, which needs -lstdc++fs as link argument

Merge pull request #16049 from rgacogne/ddist20-backport-16042

dnsdist-2.0.x: Backport 16042 - Don't increment in a potential macro argument

Merge pull request #16048 from rgacogne/ddist20-backport-16038

dnsdist-2.0.x: Backport 16038 - Add missing generated files to the dist tarball

dnsdist: Expose `refreshRuntimeConfiguration` to Lua

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 6ac7c5514aa28d63e0d46e06c4c37df4213585d4)

dnsdist: Also refresh the configuration when `recvmmsg` is used

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 8539d039f68d7e7c256d2575191a364664ae882b)

dnsdist: Better config refresh logic in the TCP/DoH threads

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 51d2c34c0e209120a4692697a56e3a8bcaeb9af0)

dnsdist: Ensure the runtime configuration is updated in the SNMP thread

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit a7da19df49ebd0745449eb206ca035a18500d251)

dnsdist: Explicitly update the configuration thread-local copy

This commits ensures that all DNSdist threads are regularly checking
if there is a new version of the runtime-modifiable configuration and
update their local copy if necessary. Regular accesses to the copy
are now fully read-only, meaning they do not invalidate the current copy.
It prevents the case where a function is invalidating the copy that the
caller is holding, and makes accessing the configuration cheaper.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit c08ba9f1f2fe743c3e05313b2c329446e2e2d1b1)

dnsdist: allow building wth gcc8, which needs -lstdc++fs as link argument

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit d74d63d0963bdb2790a95cfc6ef1564c1f176745)

Merge pull request #16045 from rgacogne/ddist20-backport-16007

dnsdist-2.0.x: Backport 16007 - Add mitigations for the HTTP/2 MadeYouReset attack

dnsdist: don't increment in a potential macro argument

Fixes g++ 8: ../dnsdist-crypto.cc:291:16: warning: operation on 'count' may be undefined [-Wsequence-point]

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 6a269e10520ffd5431830e8c1ee87e464d458663)

dnsdist: Add missing generated files to the dist tarball

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 847331c4fe8b55a704889e0861f4f95b5e9e163e)

dnsdist: Fix invalid log formatters spotted by Otto

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 36aeac05daeffcbc41443b47660982f65d73b7da)

dnsdist: Apply Miod and clang-tidy's suggestions

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit f2bee342a4b53cd4ea4896e280ccafeb9f24db34)

dnsdist: Stop reading on incoming DoH sockets if we are done

If the underlying library doesn't want to read, we have nothing
to send at the moment, but we are still waiting for responses,
there is no need to keep polling the socket.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit e0a5a6dc4ab9557442ddbba56d03f6e4fb132bf2)

dnsdist: Fix the accounting of "killed" streams

The way the nghttp2 library works means that we can get notified
that a stream has been closed while we are still in the function
sending the actual response. This is not a "killed" stream, but
just a regular closure.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit b81ed956d2f0b6bc538b34ee7e7ad304be233e7a)

dnsdist: Define `dnsdist::doh::MAX_INCOMING_CONCURRENT_STREAMS`

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 866c8f3fff753d3b2a03c1da50e8d53056880a46)

dnsdist: Tentative h2o fix for MadeYouReset

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 2406bc461dbac384b07ed7dbb73a87def6354bd6)

dnsdist: Enforce concurrent streams count for pending queries

The gist of the `MadeYouRest` attack is that streams can be reset
by the client, and thus no longer count towards the maximum number
of a streams as far as the library is concerned, while the server
is still processing the query and doing actual work.
This pull request introduces a counter for "killed but still being
processed streams" to prevent it.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 0214032c5f09fcfb440e5c5120f1491cb4f0fda4)

Merge pull request #16032 from rgacogne/ddist20-backport-15881

dnsdist-2.0.x: Backport 15881 - Support mnemonics for the Opcode selector

Merge pull request #16031 from rgacogne/ddist20-backport-15817

dnsdist-2.0.x: Backport 15817: switch Docker images to Debian Trixie

Merge pull request #16030 from rgacogne/ddist20-backport-15915

dnsdist-2.0.x: Backport 15915: Properly set up env vars with meson

dns: Get rid of the ugly special case for OpCode 3

As suggested by Miod.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit b6898b5f3787e2528225fd5e22927f2e5ba3cc2b)

dnsdist: Support mnemonics for the Opcode selector

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 1a37caf4bcef0ad8362ce5b2bf8f01e90c81986d)

Merge pull request #16029 from rgacogne/ddist20-backport-15959

dnsdist-2.0.x: Backport 15959: dnsdist --version: report yaml support

switch Docker images to Debian Trixie

(cherry picked from commit 4a92c4bbda9c5a0d0b9b30865dff71d70226cfcf)

rec and dnsdist: properly set up env vars

env.append() appends to an existing value

Should fix the error in #15896, but the reported location of cargo
still might be wrong.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 6d3c2334aa84258eaee409eb7e545eb67121a4a5)

dnsdist --version: report yaml support

(cherry picked from commit 8ac38640efa2c90f1db59fddcd32cdb6c29d41db)

Merge pull request #16020 from rgacogne/ddist20-backport-15931

dnsdist-2.0.x: Backport 15931- Speed up response content matching

Merge pull request #16019 from rgacogne/ddist20-backport-15935

dnsdist-2.0.x: Backport 15935 - Clean up incoming TCP connections counters once per minute

Merge pull request #16018 from rgacogne/ddist20-backport-15904

dnsdist-2.0.x: Backport 15904 - Fix systemd template unit and restricted network families when building with meson

Merge pull request #16017 from rgacogne/ddist20-backport-15902

dnsdist-2.0.x: Backport 15902 - Fix QType rate dynamic block with YAML

Refactor `DNSName::matches` around `pdns_ilexicographical_compare_three_way`

And rename it to hopefully prevent any confusion regarding when it can be used.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit f78521d7f73d1f176602e33d03fae6e40fa86602)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Yet another clang-tidy warning

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit aa5ca15a59efa4602efc5d78e17514dfe4edab16)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsname: Fix clang-tidy warnings

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit afbae807a3dbb00b9ac8e20daa8b5bef353a1764)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsname: Add a comment about what `DNSName::matches` accepts

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 7394dd09afce13c1cd287c2b63f8d129e8be22af)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Fix clang-tidy warnings

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 93e1cbbc014526ce4f39b54dd084cfa040980dbe)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Speed up response content matching

This commit introduces a new method to compare a `DNSName`
against a view of raw, wire-format bytes, skipping the
allocation and copy that is usually required to get a
second `DNSName` object to compare against.
This signifitcantly reduces the amount of time matching
a DNS response received from a backend against the content
we expect to find.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 67eb73850f3141c44963d95ef815fe6a0586d2a8)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist-2.0.x: Backport pdns_ilexicographical_compare_three_way

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Fix error in comment spotted by Otto (seconds -> minutes)

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit e5a0cc4475cb668824d7d5a45086665f038f3b16)

dnsdist: Fix clang-tidy warnings

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit d80362d7d2f1d50d0cd449b62ef7fdea4354eed3)

dnsdist: Clean up incoming TCP connections counters once per minute

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit df406c37e23974d4fa1575dcf54ef53ef8276fa6)

dnsdist: Fix restricted network families when building with meson

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 84da8caf2bb5e0c74f706b7248d9abf379485180)

dnsdist: Fix systemd template unit when building with meson

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit b8b86d5644f46b2f07cd7f633cbfd98395ec8ec6)

Merge pull request #16003 from rgacogne/ddist20-quiche-0.24.5

dnsdist-2.0.x: Backport 16002 - Update Cloudflare's Quiche to 0.24.5 in our packages

dnsdist: Update Cloudflare's Quiche to 0.24.5 in our packages

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit e9af7f9c2f9e2b8969fc6be7bc35d0de2decdb77)
Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15925 from rgacogne/ddist20-backport-15916

dnsdist-2.0.x: backport 15916 - Update rings' atomic counter without holding the lock

Merge pull request #15926 from rgacogne/ddist20-backport-15917

dnsdist-2.0.x: Backport 15917 - Return early when a rule chain is empty

Merge pull request #15927 from rgacogne/ddist20-backport-15918

dnsdist-2.0.x: Backport 15918 - Update a cache's atomic counter without holding the lock

Merge pull request #15920 from rgacogne/ddist20-upgrade-quiche

dnsdist-2.0.x: Upgrade Cloudflare's Quiche to 0.24.4

dnsdist: Update rings' atomic counter without holding the lock

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit f30e5ca0993defc6bacd5584d5ce19d32900d71d)

dnsdist: Update a cache's atomic counter without holding the lock

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit e579d8f2977f17efcf5f7f158500a9df53c2370d)

dnsdist: Return early when a rule chain is empty

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 1ae16e707a6cb1c80d611b72e9e4599707332645)

dnsdist: Apply Miod's suggestions (thanks!)

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 3b6b96bdd38d6ef380140aa95702d9ab7e706b67)

dnsdist: Fix QType rate dynamic block with YAML

The YAML configuration for the the "QType rate" dynamic block was
totally broken, trying to configure a rcode rate rule instead of a
qtype rate one.
Thanks to HellSpawn for reporting this the issue!

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit eb01c11a5418da08d5e11acdd519e2816e937835)

dnsdist: Upgrade Cloudflare's Quiche to 0.24.4

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15879 from rgacogne/ddist20-backport-15871

dnsdist-2.0.x: Backport 15871 - Use an unordered map for pools

Merge pull request #15880 from rgacogne/ddist20-backport-15872

dnsdist-2.0.x: Backport 15872 - Only parse EDNS Z once

Merge pull request #15878 from rgacogne/ddist20-backport-15870

dnsdist-2.0.x: Avoid constructing a DNSResponse object when not really needed

Merge pull request #15877 from rgacogne/ddist20-backport-15869

dnsdist-2.0.x: Backport 15869 - Small speedup for getEDNSUDPPayloadSizeAndZ()

Merge pull request #15876 from rgacogne/ddist20-backport-15868

dnsdist-2.0.x: Backport 15868 - Improve the scalability of the MAC address cache

Merge pull request #15875 from rgacogne/ddist20-backport-15861

dnsdist-2.0.x: Backport 15861 - Fix out-of-tree builds with autotools

dnsdist: Only parse EDNS Z once

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit d071f0027e663206fedaa433496c4e3bd49718ee)

dnsdist: Use an unordered map for pools

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 516c3156553f874e31926671c2afed0b53b3ef19)

dnsdist: Avoid constructing a DNSResponse object when not really needed

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 4843b77823b100d652d9116165da4b4913a48ad3)

dnsparser: Add a comment explaining that the OPT RR has to be in additional

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 336a601b2bd2d6475eca39a6ad1489a02354cdca)

dnsdist: Small speedup for getEDNSUDPPayloadSizeAndZ()

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 4e7c4d06db5f6421bc33ccf7d7e72b36fe4e68db)

dnsdist: Improve the scalability of the MAC address cache

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 574075d9a9204d44f41982fd78bb5b90a2bcfb89)

dnsdist: Fix out-of-tree builds with autotools

Stolen from Habbie, many thanks!

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 412e0da107a9c6e8df4f6ad7958f6705d5e975fc)

Merge pull request #15842 from rgacogne/ddist20-backport-15823

dnsdist-2.0.x: Backport 15823 - Bring back listening on multiple web server addresses

Merge pull request #15841 from rgacogne/ddist20-backport-15822

dnsdist-2.0.x: Backport 15822 - Allow registering NMG objects from YAML

dnsdist: Document that negative entries in netmask lists are supported

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit aa18df7da0df93890100f2c82e79ed5eeee78e6b)

dnsdist: Apply Otto's suggestion

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 08d790466b2e465700f193b503ff0a76a3a0680e)

dnsdist: Allow registering NMG objects from YAML

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit f158a09f2d82c305a8297cd36713decb2cadb8f0)

Merge pull request #15837 from rgacogne/ddist20-backport-15829

dnsdist-2.0.x: Backport 15829 - dnsdist-rust-lib: honor RUSTC_TARGET_ARCH

Merge pull request #15838 from rgacogne/ddist20-backport-15819

dnsdist-2.0.x: Backport 15819 - Handle named rcodes in the YAML configuration

Merge pull request #15839 from rgacogne/ddist20-backport-15815

dnsdist-2.0.x: Backport 15815 - Properly process the YAML source parameter for backends

Merge pull request #15840 from rgacogne/ddist20-backport-15813

dnsdist-2.0.x: Backport 15813 - Properly link with `libdl` when building with `autotools`

Merge pull request #15843 from rgacogne/ddist20-backport-15833

dnsdist-2.0.x: Backport 15833 - Fix narrowing conversion on 32-bit systems by using uint64_t instead of size_t

Fix narrowing conversion on 32-bit systems by using uint64_t instead of size_t

(cherry picked from commit 83ac5035c5676ee9bd75b79ecfb7778f0e9d599a)

dnsdist: Fix a clang-tidy warning

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit a5b8fe9689a4fa5ca4974f2fb17336d7327b54f2)

dnsdist: Bring back listening on multiple web server addresses

This was broken during the refactoring of the configuration between
1.9.x and 2.0.x.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 11f9083073119595c655988a3981ab5f1ccc2e40)

dnsdist: Properly link with `libdl` when building with `autotools`

Depending on the system we might actually need to link with `libdl`
when our Rust library is used, and the mechanism to do that was not
properly set up when building with `autotools` (we were adding `LIBDL`
to the the libraries we need but the variable was not properly filled).
Unfortunately the systems we are exercising in our CI do not need to
explicitly link with `libdl` so we did not notice.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit 83416a76b6df3af560514caea8c45e750f1fd24b)