auth: improve tcp exception handling

Merge pull request #11095 from Habbie/upgrade-notes-11081

dnsdist, rec, auth: upgrade notes for 11081

Merge pull request #10734 from rgacogne/ddist-async-tls

dnsdist: Add experimental support for TLS asynchronous engines

Merge pull request #11101 from omoerbeek/auth-errno-clobbered

auth: save errno value as close(2) might clobber it

Merge pull request #11075 from rgacogne/ddist-fix-dropped-doh-cross-responses

dnsdist: Fix a double-free when a DoH cross-protocol response is dropped

auth: save errno value as close(2) might clobber it

dnsdist: Clarify that if the call failed we still own the DOHUnit

dnsdist: Add comments on reference counting around our internal pipe

dnsdist: Use an alias for the DOHUnit unique pointer

dnsdist: Fix typo spotted by Otto

Merge pull request #11059 from chbruyand/dnsdist-lua-ttl-limit

dnsdist: add lua support to limit TTL values of responses

Merge pull request #10984 from danel1/master

docs: Add hint on how to find generic records in SQL backends

dnsdist, rec, auth: upgrade notes for 11081

Merge pull request #11081 from nvaatstra/docker-unprivileged

Docker images: Remove capability requirements

Additional note on Docker Engine version where the requirement of the additional capability was dropped

Merge pull request #11061 from Habbie/auth-4.6.0-alpha2-docs-secpoll

auth-4.6.0-beta1: secpoll&docs

auth-4.6.0-beta1: secpoll&docs

Remove capability requirements from Docker images

Merge pull request #11078 from rgacogne/ddist-ffi-spoof-raw-no-const

dnsdist: Fix const-correctness of dnsdist_ffi_raw_value_t's value

dnsdist: Increment the DoH ref counter before writing to the pipe

As far as I can tell this is not actually needed, as we decrement
it right away, but it prevents TSAN from reporting a race when the
UDP response comes very fast, is truncated, and the query is then
passed to a TCP worker. TSAN seems to think that the thread is still
sending the UDP query when we touch it again in the TCP worker, which
does not really make sense to me.
My guess is that the memory barrier needed to update the ref counter
makes TSAN happy, but I might be missing something.

dnsdist: Fix const-correctness of dnsdist_ffi_raw_value_t's value

This prevent an allocation and a copy since we can now directly pass
a Lua string.

dnsdist: Wrap the DOHUnit object in a unique_ptr whenever possible

dnsdist: Refactoring of the DoH unit handling

dnsdist: Fix a leak when a UDP response for DoH is truncated

dnsdist: Fix a double-free when a DoH cross-protocol response is dropped

Merge pull request #11073 from jsoref/grammar

Minor fixes

Minor fixes

Guided by app.grammarly.com

Merge pull request #11070 from omoerbeek/rec-regr-logs

rec: Regression tests: startup/cleanup fixes

Merge pull request #11068 from Habbie/bind-hybrid-zone-cache

auth: prevent bind-hybrid+zone-cache

Merge pull request #11067 from Habbie/pdnsutil-ds-sha1-verbose

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

Merge pull request #11066 from zeha/auth-api-zonecache-flush-small

Auth: add zone to zonecache on flush API endpoint

Update regression-tests.dnsdist/test_Responses.py

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11071 from PowerDNS/omoerbeek-patch-1

Wrong title of check

Merge pull request #11069 from omoerbeek/rec-no-eventtrace-on-no-lua

rec: Do not generate eventtrace records if no Lua hook is defined

Cleanup start and stop code

- more clearly print startup logs in case of exec error
- do not try to kill a process that's already dead
- do not call exit, but throw an AssertionError on startup issues

Also print logs on no exception

fix wrong constants used in regression tests

Wrong title of check

dnsdist: Hopefully appease the formatting gods

rec: Handle "cannot happen" Async results by raising an exception

dnsdist: Better wording, as suggested by Josh Soref (thanks!)

dnsdist: Fix broken indentation, as spotted by Josh Soref (thanks!)

libssl: Warn when async mode is requested but not supported

libssl: Add the name of the TLS engine in the error message

dnsdist: Move TLS async mode to 1.8.0

dnsdist: improve dnsdist_ffi_dnsresponse_t FFI integration

dnsdist: Wait for any TLS async job to be done before deleting the state

dnsdist: Fix building on older OpenSSL versions (no engine, no async)

dnsdist: Fix typo reported by Chris Hofstaedtler (thanks!)

dnsdist: Add experimental support for TLS asynchronous engines

auth API: add zone to zonecache in flush endpoint

auth: prevent bind-hybrid+zone-cache, fixes #10658

auth API: purge entire zone from cache, not just zone-level records

Merge pull request #11064 from omoerbeek/docs-secpoll-status

secpoll: for pre-releases, use status 2 when supserseded.

Do not generate eventtrace records if no Lua hook is defined

pdnsutil: skip SHA1 DSes except in verbose mode, fixes #11045

For pre-releases, use status 2 when supserseded.

Merge pull request #11063 from omoerbeek/rec-prep-4.6.0-rc1

rec: Prep for rec-4.6.0-rc1

Merge pull request #11054 from rgacogne/ddist-fix-webserver-headers-doc

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

Update pdns/recursordist/docs/changelog/4.6.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Prep for rec-4.6.0-rc1

dnsdist: add lua support to limit reponse TTL values

Merge pull request #10982 from omoerbeek/systemd-dir-env-cond

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

dnsdist: Fix 'custom_headers' -> 'customHeaders' in the webserver doc

`setWebserverConfig()` accepts a 'customHeaders' key, and not a
'custom_headers' one. Also update the documentation for `webserver()`
where it does not really matter so they are in sync.

Merge pull request #11039 from rgacogne/ddist-split-advanced-regression

dnsdist: Split the huge test_Advanced regression test file

Merge pull request #11043 from omoerbeek/rec-regr-fast-startup-teardown

rec: Regression tests: smarter and faster startup and teardown of auth and rec

Merge pull request #11050 from omoerbeek/rec-catch-guard-ex

rec: Catch an exception in guard destructor as seen by coverity.

Merge pull request #11033 from omoerbeek/circleci-drop-formatting

CircleCI: drop formatting check, superseded by GH workflows

Wait for web server to come online before proceeding

Set timeout on TCP connect attempt

Wait for webserver to come up

Wait until outgoing requests stabilizes before starting tests, rec might stil be busy resolving hints.

Smarter and faster startup and teardown of auth and rec

Instead of having a fixed 1 or 2s delay, poll the TCP port to see
if rec or auth has started up in a semi-tight loop: a loop with a
small sleep.  For teardown we poll the wait status using poll() in
a similar loop.

Catch an exception in guard destructor as seen by coverity.

Merge pull request #11046 from phonedph1/patch-31

Update dq.rst

Merge pull request #11047 from phonedph1/patch-32

Update dq.rst

Update dq.rst

Update dq.rst

Merge pull request #11044 from omoerbeek/rec-regr-auth-v6

rec: regression test: Fix v6 setup and start using a more modern auth on circleci

Fix error in test zone that auth-45 does not like

Merge pull request #11035 from rgacogne/ddist-17-beta2

dnsdist: Add ChangeLog and secpoll for 1.7.0-beta2

One more occurence of --local-ipv6

Merge pull request #11036 from omoerbeek/rec-qm-9156

rec: Compute step sizes for QM a la RFC 9156

Fix v6 setup and start using a more modern auth on circleci

Merge pull request #11042 from jsoref/recursordist-lua-scripting-doc-grammar

doc: grammar tweaks for recursordist lua-scripting

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

doc: grammar tweaks for recursordist lua-scripting

Merge pull request #11041 from omoerbeek/rec-lua-blocking-docs

rec: Warn about blocking calls from Lua

Warn about blocking calls from Lua

Merge pull request #11037 from rgacogne/ddist-healthcheck-reuse-tls-session

dnsdist: Reuse and save the TLS session tickets in DoT healthchecks

Alos drop formatting job from the global jobs:

Merge pull request #11030 from omoerbeek/rec-incoming-tcp-finalize

Rec incoming tcp bookkeeping

dnsdist: Use `time()` instead of `gettimeofday()`, as suggested by Otto

dnsdist: Split the huge test_Advanced regression test file

- The Lua FFI tests moved to `test_LuaFFI.py`
- the rules and actions to `test_RulesActions.py`
- and test_Advanced now contains only tests non directly related to
specific rules and actions

typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11038 from omoerbeek/rec-ci-mo-tsan-for-now

rec: Disable tsan regression runs for rec for now,

dnsdist: Update the outgoing DoT tests now that we save TLS tickets during healthchecks

Prepend labels starting with an underscore

Disable tsan regression runs for rec for now, there is a failure
mode that if it hits makes almost all remaining test fail.  Symptom
is that the auths do not start up properly.

dnsdist: Reuse and save the TLS session tickets in DoT healthchecks

This reduces the cost of the healthchecks themselves while saving the
TLS session reduces the cost of opening of a DoT connection for actual
queries later on.
In the future a refactoring of the TCP/DoT healthcheck code to be more
like the "black box" approach used for DoH would be nice to have.