dnsdist Docker image: install ca-certificates

(cherry picked from commit d256ad02c53c470b9fb035fe4b29daeb686e9734)

Merge pull request #11094 from Habbie/backport-11081-to-dnsdist-1.7.x

dnsdist-1.7: Docker images: remove capability requirements

Merge pull request #11195 from rgacogne/ddist17-openssl3

dnsdist-1.7.x: Fix compilation with OpenSSL 3.0.0

dnsdist-1.7.x: Fix compilation with OpenSSL 3.0.0

Merge pull request #11156 from rgacogne/ddist17-warning-ratio

dnsdist-1.7.x: Test correct member in DynBlockRatioRule::warningRatioExceeded

Test correct member in DynBlockRatioRule::warningRatioExceeded

Also sprinkle in some more checks of d_enabled.

Fixes #11131

(cherry picked from commit b1fd5841e92719049751836cce728b136aaddb4a)

Merge pull request #11104 from rgacogne/ddist17-doh-tc-check-query-size

dnsdist-1.7.x: Check the size of the query when re-sending a DoH query

Merge pull request #11106 from rgacogne/ddist17-unbreak-compilation-without-doh

dnsdist-1.7.x: Fix compilation without incoming DoH support

dnsdist: Fix compilation without incoming DoH support

(cherry picked from commit d0ae90801838ed9104051fa11fa577f3a96a9289)

Merge pull request #11103 from rgacogne/ddist17-fix-dropped-doh-cross-responses

dnsdist-1.7.x: Fix a double-free when a DoH cross-protocol response is dropped

Merge pull request #11085 from rgacogne/ddist17-remove-non-ddist-ci

dnsdist-1.7.x: Remove non dnsdist-related CI steps

dnsdist: Account for the proxy protocol payload when checking the query size

(cherry picked from commit 4546141949cce7e2518f94d23361c02cb11a65c4)

dnsdist: Check the size of the query when re-sending a DoH query

When the UDP response to a DoH query was truncated, we re-send the
query via TCP, passing it to a TCP worker. We need to edit the ID
to its original value before that, and while there is no reason
that the query is smaller than a dnsheader, we need to check its size,
not the size of the response.

(cherry picked from commit 5d552300959a5133546bb65ddeb8ce918d598c08)

dnsdist: Clarify that if the call failed we still own the DOHUnit

(cherry picked from commit 9d53151a282e9a98f75d28e8fcbff7901a07b592)

dnsdist: Add comments on reference counting around our internal pipe

(cherry picked from commit e36f950460e7fa8e53c9b6751e244d15f6bcd24c)

dnsdist: Use an alias for the DOHUnit unique pointer

(cherry picked from commit 9f46a693ffc6a9e7614f787726b210731fe10a8d)

dnsdist: Fix typo spotted by Otto

(cherry picked from commit 1fa2cd69bfd3a4edfa54e84795962c74e31794b6)

dnsdist: Increment the DoH ref counter before writing to the pipe

As far as I can tell this is not actually needed, as we decrement
it right away, but it prevents TSAN from reporting a race when the
UDP response comes very fast, is truncated, and the query is then
passed to a TCP worker. TSAN seems to think that the thread is still
sending the UDP query when we touch it again in the TCP worker, which
does not really make sense to me.
My guess is that the memory barrier needed to update the ref counter
makes TSAN happy, but I might be missing something.

(cherry picked from commit 7a90dbde7b01321783d73d71520abd3fa380a9c8)

dnsdist: Wrap the DOHUnit object in a unique_ptr whenever possible

(cherry picked from commit 871e5e481310f1e51bfb76319d5f49a27d21804d)

dnsdist: Refactoring of the DoH unit handling

(cherry picked from commit 2171e7c7ef360c5646646c6504d29d83a74e18c2)

dnsdist: Fix a leak when a UDP response for DoH is truncated

(cherry picked from commit 65ef9d4617349aac5e350e07fcce3a7e7ee3be67)

dnsdist: Fix a double-free when a DoH cross-protocol response is dropped

(cherry picked from commit dbd2a418d299891e5af3b2376f41bb7464dae45d)

Additional note on Docker Engine version where the requirement of the additional capability was dropped

(cherry picked from commit 07b24e5743c08c828c73a93e724a86a5b83b680a)

Remove capability requirements from Docker images

(cherry picked from commit f28c81ed0242b6838eafdb61933a6f63b68040cf)

dnsdist-1.7.x: Remove non dnsdist-related CI steps

Merge pull request #11078 from rgacogne/ddist-ffi-spoof-raw-no-const

dnsdist: Fix const-correctness of dnsdist_ffi_raw_value_t's value

dnsdist: Fix const-correctness of dnsdist_ffi_raw_value_t's value

This prevent an allocation and a copy since we can now directly pass
a Lua string.

Merge pull request #11073 from jsoref/grammar

Minor fixes

Minor fixes

Guided by app.grammarly.com

Merge pull request #11070 from omoerbeek/rec-regr-logs

rec: Regression tests: startup/cleanup fixes

Merge pull request #11068 from Habbie/bind-hybrid-zone-cache

auth: prevent bind-hybrid+zone-cache

Merge pull request #11067 from Habbie/pdnsutil-ds-sha1-verbose

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

Merge pull request #11066 from zeha/auth-api-zonecache-flush-small

Auth: add zone to zonecache on flush API endpoint

Merge pull request #11071 from PowerDNS/omoerbeek-patch-1

Wrong title of check

Merge pull request #11069 from omoerbeek/rec-no-eventtrace-on-no-lua

rec: Do not generate eventtrace records if no Lua hook is defined

Cleanup start and stop code

- more clearly print startup logs in case of exec error
- do not try to kill a process that's already dead
- do not call exit, but throw an AssertionError on startup issues

Also print logs on no exception

Wrong title of check

auth API: add zone to zonecache in flush endpoint

auth: prevent bind-hybrid+zone-cache, fixes #10658

auth API: purge entire zone from cache, not just zone-level records

Merge pull request #11064 from omoerbeek/docs-secpoll-status

secpoll: for pre-releases, use status 2 when supserseded.

Do not generate eventtrace records if no Lua hook is defined

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

For pre-releases, use status 2 when supserseded.

Merge pull request #11063 from omoerbeek/rec-prep-4.6.0-rc1

rec: Prep for rec-4.6.0-rc1

Merge pull request #11054 from rgacogne/ddist-fix-webserver-headers-doc

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

Update pdns/recursordist/docs/changelog/4.6.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Prep for rec-4.6.0-rc1

Merge pull request #10982 from omoerbeek/systemd-dir-env-cond

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

`setWebserverConfig()` accepts a 'customHeaders' key, and not a
'custom_headers' one. Also update the documentation for `webserver()`
where it does not really matter so they are in sync.

Merge pull request #11039 from rgacogne/ddist-split-advanced-regression

dnsdist: Split the huge test_Advanced regression test file

Merge pull request #11043 from omoerbeek/rec-regr-fast-startup-teardown

rec: Regression tests: smarter and faster startup and teardown of auth and rec

Merge pull request #11050 from omoerbeek/rec-catch-guard-ex

rec: Catch an exception in guard destructor as seen by coverity.

Merge pull request #11033 from omoerbeek/circleci-drop-formatting

CircleCI: drop formatting check, superseded by GH workflows

Wait for web server to come online before proceeding

Set timeout on TCP connect attempt

Wait for webserver to come up

Wait until outgoing requests stabilizes before starting tests, rec might stil be busy resolving hints.

Smarter and faster startup and teardown of auth and rec

Instead of having a fixed 1 or 2s delay, poll the TCP port to see
if rec or auth has started up in a semi-tight loop: a loop with a
small sleep.  For teardown we poll the wait status using poll() in
a similar loop.

Catch an exception in guard destructor as seen by coverity.

Merge pull request #11046 from phonedph1/patch-31

Update dq.rst

Merge pull request #11047 from phonedph1/patch-32

Update dq.rst

Update dq.rst

Update dq.rst

Merge pull request #11044 from omoerbeek/rec-regr-auth-v6

rec: regression test: Fix v6 setup and start using a more modern auth on circleci

Fix error in test zone that auth-45 does not like

Merge pull request #11035 from rgacogne/ddist-17-beta2

dnsdist: Add ChangeLog and secpoll for 1.7.0-beta2

One more occurence of --local-ipv6

Merge pull request #11036 from omoerbeek/rec-qm-9156

rec: Compute step sizes for QM a la RFC 9156

Fix v6 setup and start using a more modern auth on circleci

Merge pull request #11042 from jsoref/recursordist-lua-scripting-doc-grammar

doc: grammar tweaks for recursordist lua-scripting

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

doc: grammar tweaks for recursordist lua-scripting

Merge pull request #11041 from omoerbeek/rec-lua-blocking-docs

rec: Warn about blocking calls from Lua

Warn about blocking calls from Lua

Merge pull request #11037 from rgacogne/ddist-healthcheck-reuse-tls-session

dnsdist: Reuse and save the TLS session tickets in DoT healthchecks

Alos drop formatting job from the global jobs:

Merge pull request #11030 from omoerbeek/rec-incoming-tcp-finalize

Rec incoming tcp bookkeeping

dnsdist: Use `time()` instead of `gettimeofday()`, as suggested by Otto

dnsdist: Split the huge test_Advanced regression test file

- The Lua FFI tests moved to `test_LuaFFI.py`
- the rules and actions to `test_RulesActions.py`
- and test_Advanced now contains only tests non directly related to
specific rules and actions

typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11038 from omoerbeek/rec-ci-mo-tsan-for-now

rec: Disable tsan regression runs for rec for now,

dnsdist: Update the outgoing DoT tests now that we save TLS tickets during healthchecks

Prepend labels starting with an underscore

Disable tsan regression runs for rec for now, there is a failure
mode that if it hits makes almost all remaining test fail.  Symptom
is that the auths do not start up properly.

dnsdist: Reuse and save the TLS session tickets in DoT healthchecks

This reduces the cost of the healthchecks themselves while saving the
TLS session reduces the cost of opening of a DoT connection for actual
queries later on.
In the future a refactoring of the TCP/DoT healthcheck code to be more
like the "black box" approach used for DoH would be nice to have.

Only call setDropOnIdle() if we're actually have a tcp connection.

Also add extra consistency check, d_tcp and d_tcpcOnnection should
likely be squashed into a single thing.

Compute step sizes for QM a la RFC 9156

If we fall through handleRunningTCPQuestion(), we neeed to keep the connection,
there are more bytes to come. handleTCPReadResult() is now a method of a guard.

dnsdist: Add ChangeLog and secpoll for 1.7.0-beta2

Merge pull request #11028 from Habbie/auth-4.4.1-secpoll-docs

auth 4.4.2 secpoll&docs

auth 4.4.2 secpoll&docs

Merge pull request #11031 from rgacogne/ddist-fix-missing-visibility

dnsdist: Add missing visibility attribute on `dnsdist_ffi_dnsquestion_get_qname_hash`

Merge pull request #11006 from rgacogne/ddist-show-web-config

dnsdist: Add 'showWebserverConfig'

CircleCI: drop formatting check, superseded by GH workflows

Better names

dnsdist: Fix g++/LTO warning about uninitialized dnsheaders in the unit test

dnsdist: Add missing visibility attribute on dnsdist_ffi_dnsquestion_get_qname_hash

Making it unusable from Lua FFI when dnsdist is compiled with
`-fvisibility=hidden`.

Use guard objects to do the TCP connection bookkeeping and cleanup if needed.

If a policy drop is to be handled for a TCP connection, do not
answer that query, but do handle already in-flight queries and then close.