dnsdist: Clarify that if the call failed we still own the DOHUnit

dnsdist: Add comments on reference counting around our internal pipe

dnsdist: Use an alias for the DOHUnit unique pointer

dnsdist: Fix typo spotted by Otto

dnsdist: Increment the DoH ref counter before writing to the pipe

As far as I can tell this is not actually needed, as we decrement
it right away, but it prevents TSAN from reporting a race when the
UDP response comes very fast, is truncated, and the query is then
passed to a TCP worker. TSAN seems to think that the thread is still
sending the UDP query when we touch it again in the TCP worker, which
does not really make sense to me.
My guess is that the memory barrier needed to update the ref counter
makes TSAN happy, but I might be missing something.

dnsdist: Wrap the DOHUnit object in a unique_ptr whenever possible

dnsdist: Refactoring of the DoH unit handling

dnsdist: Fix a leak when a UDP response for DoH is truncated

dnsdist: Fix a double-free when a DoH cross-protocol response is dropped

Merge pull request #11073 from jsoref/grammar

Minor fixes

Minor fixes

Guided by app.grammarly.com

Merge pull request #11070 from omoerbeek/rec-regr-logs

rec: Regression tests: startup/cleanup fixes

Merge pull request #11068 from Habbie/bind-hybrid-zone-cache

auth: prevent bind-hybrid+zone-cache

Merge pull request #11067 from Habbie/pdnsutil-ds-sha1-verbose

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

Merge pull request #11066 from zeha/auth-api-zonecache-flush-small

Auth: add zone to zonecache on flush API endpoint

Merge pull request #11071 from PowerDNS/omoerbeek-patch-1

Wrong title of check

Merge pull request #11069 from omoerbeek/rec-no-eventtrace-on-no-lua

rec: Do not generate eventtrace records if no Lua hook is defined

Cleanup start and stop code

- more clearly print startup logs in case of exec error
- do not try to kill a process that's already dead
- do not call exit, but throw an AssertionError on startup issues

Also print logs on no exception

Wrong title of check

auth API: add zone to zonecache in flush endpoint

auth: prevent bind-hybrid+zone-cache, fixes #10658

auth API: purge entire zone from cache, not just zone-level records

Merge pull request #11064 from omoerbeek/docs-secpoll-status

secpoll: for pre-releases, use status 2 when supserseded.

Do not generate eventtrace records if no Lua hook is defined

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

For pre-releases, use status 2 when supserseded.

Merge pull request #11063 from omoerbeek/rec-prep-4.6.0-rc1

rec: Prep for rec-4.6.0-rc1

Merge pull request #11054 from rgacogne/ddist-fix-webserver-headers-doc

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

Update pdns/recursordist/docs/changelog/4.6.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Prep for rec-4.6.0-rc1

Merge pull request #10982 from omoerbeek/systemd-dir-env-cond

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

`setWebserverConfig()` accepts a 'customHeaders' key, and not a
'custom_headers' one. Also update the documentation for `webserver()`
where it does not really matter so they are in sync.

Merge pull request #11039 from rgacogne/ddist-split-advanced-regression

dnsdist: Split the huge test_Advanced regression test file

Merge pull request #11043 from omoerbeek/rec-regr-fast-startup-teardown

rec: Regression tests: smarter and faster startup and teardown of auth and rec

Merge pull request #11050 from omoerbeek/rec-catch-guard-ex

rec: Catch an exception in guard destructor as seen by coverity.

Merge pull request #11033 from omoerbeek/circleci-drop-formatting

CircleCI: drop formatting check, superseded by GH workflows

Wait for web server to come online before proceeding

Set timeout on TCP connect attempt

Wait for webserver to come up

Wait until outgoing requests stabilizes before starting tests, rec might stil be busy resolving hints.

Smarter and faster startup and teardown of auth and rec

Instead of having a fixed 1 or 2s delay, poll the TCP port to see
if rec or auth has started up in a semi-tight loop: a loop with a
small sleep.  For teardown we poll the wait status using poll() in
a similar loop.

Catch an exception in guard destructor as seen by coverity.

Merge pull request #11046 from phonedph1/patch-31

Update dq.rst

Merge pull request #11047 from phonedph1/patch-32

Update dq.rst

Update dq.rst

Update dq.rst

Merge pull request #11044 from omoerbeek/rec-regr-auth-v6

rec: regression test: Fix v6 setup and start using a more modern auth on circleci

Fix error in test zone that auth-45 does not like

Merge pull request #11035 from rgacogne/ddist-17-beta2

dnsdist: Add ChangeLog and secpoll for 1.7.0-beta2

One more occurence of --local-ipv6

Merge pull request #11036 from omoerbeek/rec-qm-9156

rec: Compute step sizes for QM a la RFC 9156

Fix v6 setup and start using a more modern auth on circleci

Merge pull request #11042 from jsoref/recursordist-lua-scripting-doc-grammar

doc: grammar tweaks for recursordist lua-scripting

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

doc: grammar tweaks for recursordist lua-scripting

Merge pull request #11041 from omoerbeek/rec-lua-blocking-docs

rec: Warn about blocking calls from Lua

Warn about blocking calls from Lua

Merge pull request #11037 from rgacogne/ddist-healthcheck-reuse-tls-session

dnsdist: Reuse and save the TLS session tickets in DoT healthchecks

Alos drop formatting job from the global jobs:

Merge pull request #11030 from omoerbeek/rec-incoming-tcp-finalize

Rec incoming tcp bookkeeping

dnsdist: Use `time()` instead of `gettimeofday()`, as suggested by Otto

dnsdist: Split the huge test_Advanced regression test file

- The Lua FFI tests moved to `test_LuaFFI.py`
- the rules and actions to `test_RulesActions.py`
- and test_Advanced now contains only tests non directly related to
specific rules and actions

typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11038 from omoerbeek/rec-ci-mo-tsan-for-now

rec: Disable tsan regression runs for rec for now,

dnsdist: Update the outgoing DoT tests now that we save TLS tickets during healthchecks

Prepend labels starting with an underscore

Disable tsan regression runs for rec for now, there is a failure
mode that if it hits makes almost all remaining test fail.  Symptom
is that the auths do not start up properly.

dnsdist: Reuse and save the TLS session tickets in DoT healthchecks

This reduces the cost of the healthchecks themselves while saving the
TLS session reduces the cost of opening of a DoT connection for actual
queries later on.
In the future a refactoring of the TCP/DoT healthcheck code to be more
like the "black box" approach used for DoH would be nice to have.

Only call setDropOnIdle() if we're actually have a tcp connection.

Also add extra consistency check, d_tcp and d_tcpcOnnection should
likely be squashed into a single thing.

Compute step sizes for QM a la RFC 9156

If we fall through handleRunningTCPQuestion(), we neeed to keep the connection,
there are more bytes to come. handleTCPReadResult() is now a method of a guard.

dnsdist: Add ChangeLog and secpoll for 1.7.0-beta2

Merge pull request #11028 from Habbie/auth-4.4.1-secpoll-docs

auth 4.4.2 secpoll&docs

auth 4.4.2 secpoll&docs

Merge pull request #11031 from rgacogne/ddist-fix-missing-visibility

dnsdist: Add missing visibility attribute on `dnsdist_ffi_dnsquestion_get_qname_hash`

Merge pull request #11006 from rgacogne/ddist-show-web-config

dnsdist: Add 'showWebserverConfig'

CircleCI: drop formatting check, superseded by GH workflows

Better names

dnsdist: Fix g++/LTO warning about uninitialized dnsheaders in the unit test

dnsdist: Add missing visibility attribute on dnsdist_ffi_dnsquestion_get_qname_hash

Making it unusable from Lua FFI when dnsdist is compiled with
`-fvisibility=hidden`.

Use guard objects to do the TCP connection bookkeeping and cleanup if needed.

If a policy drop is to be handled for a TCP connection, do not
answer that query, but do handle already in-flight queries and then close.

Merge pull request #10997 from rgacogne/ddist-dump-cached-session-and-connection

dnsdist: Add a function to know how many TLS sessions are currently cached

Merge pull request #11001 from rgacogne/ddist-warn-memory-leak-gnutls

dnsdist: Warn that GnuTLS 3.7.x leaks memory when validating certs

Merge pull request #10999 from rgacogne/ddist-fix-leak-in-outgoing-tls-session-reuse

dnsdist: Fix a memory leak when reusing TLS tickets for outgoing connections

Merge pull request #10993 from rgacogne/ddist-fix-10988

dnsdist: Fix compiler/static analyzer warnings

dnsdist: Apply Charles-Henri's suggestions from code review (thanks!)

Add test for the case there was trailing data after the repy (#11018)

Merge pull request #10986 from omoerbeek/gh-check-formatting

Check formatting on GH

Merge pull request #11012 from Habbie/nsec3param-minimal

auth: new default nsec3param settings

Merge pull request #11026 from omoerbeek/rec-regr-timing1

rec: Loosen timing checks that I have seen tripping in tsan enabled tests.

Give steps a name

Merge pull request #11010 from omoerbeek/rec-zero-scope-negcache

rec: Do negcache negative results, even when wasVariable() is true

Fir error reporting when starting up fails

Loosen timing checks that I have seen tripping in tsan enabled tests.
There are likely more.

Merge pull request #11019 from omoerbeek/rec-regr-vs-libfaketime

rec: Rec regr vs libfaketime

Merge pull request #11018 from omoerbeek/rec-tcp-notify-followup

rec: Fix logic botch introduced by notify handling

Cleanup libfaketime handling in rec regression tests
- Use the MT variant for libfaketime, we are MT after all
- It is only needed for auth and LD_PRELOAD is set by the tests where it matters
- It interacts badly with libfstrm and tsan in the recursor
- No more separate run of the dnstap test is needed

When we drop a notify over TCP, terminate the connection

Fix logic botch introduced by notify handing

See #10751, some extra scrutiny review is needed to make sure no
other similat issue remains.