dnsdist: Enable GnuTLS support on Circle CI as well

dnsdist: Check that the expected TLS provider is in use in the regression tests

dnsdist: Provide bindings to know which TLS provider is in use

Merge pull request #10670 from rgacogne/ddist-gnutls-github-actions

dnsdist: Enable GnuTLS support in GitHub actions

Merge pull request #10673 from Habbie/dnsdist-tests-generate-cdb

dnsdist test: generate CDB files

dnsdist test: generate CDB files

Merge pull request #10671 from rgacogne/ddist-init-dq-cacheflags

dnsdist: Initialize the cacheFlags member of DNSQuestion to 0

dnsdist: Initialize the cacheFlags member of DNSQuestion to 0

dnsdist: Enable GnuTLS support in GitHub actions

It looks like it was not enabled in CircleCI, meaning that some of
our regression tests were done with OpenSSL twice since we fallback
gracefully when the requested provider is not available.

Merge pull request #10664 from rgacogne/ddist-fix-cache-flags

dnsdist: Cache based on the DNS flags of the query after applying the rules

Merge pull request #10661 from Habbie/gh-actions

github actions: build auth+rec+dnsdist; test auth-api, dnsdist-regression, rec-api

Merge pull request #10666 from rgacogne/rec-cache-contention-counters

rec: Fix the acquired/contended cache counters not being updated

Merge pull request #10668 from omoerbeek/rec-bulktest-script

rec: Improve the rec bulk test script

Improve the rec bulk test script

- Exit if rec did not start up
- Status requesting commands (rec_control and kill -USR1) failures are non-fatal
  except for the last 'ping' command.
- Increase timeout of rec_control command (to help investigating issues on buildbot)

The script is run with -e, so failure will lead to exit without killing
the running recursor atm.

rec: Fix formatting

rec: Fix the acquired/contended cache counters not being updated

run auth remotebackend regression tests in GH Actions; remove from CircleCI

Merge pull request #10633 from rgacogne/rec-policy-event-filter-follow-cname

rec: Pass the Lua context to follow up queries (follow CNAME, dns64)

dnsdist: Cache based on the DNS flags of the query after applying the rules

The tentative fix in dbadb4d272a3317407e6bc934f55c2d41a87c0ac actually
introduced an issue, because the backend might not perfectly echo the
RD and CD flags as they were in the query.
We can't use the "original" (before applying rules) flags either, so
we need to store the flags as they were sent to the backend to be
able to correctly store them in the cache.

new remotebackend ruby deps are too new for CircleCI; disable auth make check there

circleci: remove items that we now test in github actions

github actions: build auth+rec+dnsdist; test auth-api, dnsdist-regression, rec-api

Merge pull request #10659 from omoerbeek/rec-fix-dot-to-port-853

rec: Fix wrong default value call for dot-to-port-853 setting

Fix wrong default value call for dot-to-port-853 setting

Merge pull request #10605 from omoerbeek/rec-policy-hit-stats

rec: Keep a count of per rpz (or filter) hits

One way of solving the race. Still needs operator[] though, since policyName
can vary.

Prometheus help texts and general cleanup. Example output:
pdns_recursor_policy_hits 10
pdns_recursor_policy_hits{type="filter"} 3
pdns_recursor_policy_hits{type="rpz",policyname="rpz.local"} 5
pdns_recursor_policy_hits{type="rpz",policyname="rpzFile"} 2

Merge pull request #10622 from rgacogne/rec-loop-ds-child-zone

rec: Detect a loop when the denial of the DS comes from the child zone

Keep a count of per rpz (or filter) hits, by default only exported via
Prometheus. After #10554 is merged the Promethus help info should be added
to this branch.

Merge pull request #10554 from omoerbeek/rec-per-cpu-thread-metrics

rec: Modify per-thread cpu usage stats to be Prometheus-friendly

Merge pull request #10643 from omoerbeek/rec-ns-from-cache-fw-vs-dontquery

rec: NS from the cache could be a forwarder

Merge pull request #10631 from rgacogne/mplexer-read-write

Handle waiting for a descriptor to become readable OR writable

Merge pull request #10649 from rgacogne/lock-guarded-ddist

Convert dnsdist and the recursor to LockGuarded

Make it explicit that IP addresses are taken into account when deciding to not block
an IP being forwarded to.

Merge pull request #10650 from rgacogne/ddist-rd-cache-miss

dnsdist: Fix the wrong RD and CD flags being cached, causing misses

Modify per-thread cpu usage stats to be Prometheus-friendly.

Plus fix a few small issues wrt HELP texts.

Example output:

pdns_recursor_cpu_msec{thread=0} 10
pdns_recursor_cpu_msec{thread=1} 0
pdns_recursor_cpu_msec{thread=2} 0

Also check if the remoteIP is one of the IPs we would have forwarded to,
even if it's coming from the cache.

rec: Appease the formatting gods (negcache.hh)

Change the static lock() method of MemRecursorCache to be an instance
method of MapCombo. Likewise for negcache.

Document how our wrappers around mutexes work

rec: Do not require taking the lock to know the size of a cache

dnsdist: Remove unused mutex include

rec: Store the carbon configuration in a StateHolder

rec: Convert the dynmetrics to LockGuarded

rec: Move the record caches to LockGuarded (WIP: size() should not need a lock)

Rename the lock() method to write_lock() for shared mutexes

rec: Move the NOD code to LockGuarded

rec: Convert RPZ loader stats to LockGuarded

rec: Convert the aggressive NSEC cache to LockGuarded

dnsdist: Convert remaining Action mutexes to LockGuarded

LockGuarded: Add move constructors

dnsdist: Convert most of the remaining locks to LockGuarded

Convert the StateHolder to LockGuarded

dnsdist: Convert CDBKVStore to SharedLockGuarded

dnsdist: Convert the dynamic blocks topN to LockGuarded

dnsdist: Convert ConcurrentConnectionManager to LockGuarded

dnsdist: Convert GnuTLSTicketsKey to SharedLockGuarded

dnsdist: Convert the web server configuration to LockGuarded

dnsdist: Convert the TCP client counts map to LockGuarded

dnsdist: Convert DynBPF to LockGuarded

dnsdist: Convert the Packet Cache to SharedLockGuarded

dnsdist: Convert DNSCrypt to SharedLockGuarded

speedtest: Add tests for LockGuarded

Add SharedLockGuarded, a read-write lock version of LockGuarded

dnsdist: Move the Lua mutex to LockGuarded

dnsdist: Move the ring buffers to LockGuarded

Move the remote logger class to LockGuarded

dnsdist: Move the eBPF filter class to LockGuarded

Introduce LockGuarded, a lock-protected data

The general idea has been borrowed from Rust's locks: instead of
defining two objects, the one to be protected, T, and the lock, we
define a single LockGuarded<T> object which contains the object.
That provides two big advantages:
- it is immediately clear which data is protected by the lock
- that data simply can't be accessed without holding the lock.

Merge pull request #10598 from omoerbeek/rec-almost-expired-refactor-and-stats

Rec: almost expired refactor and stats

From review feedback: only inc s_almost_expired_tasks_run after task has ended without exceptions
and check for nullptr function in task record.

Expose almost-expired metrics

Refactor stats queue, introducing a pointor to a function that does the work
(pointing to a resolve function) and almost-expired specific stats.

Merge pull request #10546 from omoerbeek/rec-dns64-metrics

rec: Add dns64 metrics

rec: Add a test for 'denial of the DS comes from the child zone' loop

Merge pull request #10602 from omoerbeek/rec-drop-after-preresolve

rec: Process policy and potential Drop action after Lua hooks

Merge pull request #10647 from rgacogne/decaf-polymorphic-exception

Fix a warning about catching a polymorphic exception type by value

dnsdist: Avoid arithmetic on bitfields, as suggested by Otto

rec: check that the policy event filter is called for follow-up queries

Update multiplexer priorities so completion ports are preferred over /dev/poll

dnsdist: Fix the wrong RD and CD flags being cached, causing misses

We used to restore the RD and CD flags from the initial query before
inserting the response into the cache. That would cause an issue
if the flags had been altered, for example via SetNoRecurseAction,
as the cache lookup is done _after_ the actions have been applied
and thus after the flags altered.
If the initial query had the RD bit set, and thus was cleared by the
rule, the response would have been inserted with the RD bit restored,
and no lookup would then succeed because it would be done with the
bit cleared.
This commit fixes the insertion to use the RD and CD bits as set in
the response before restoring them, and restores the RD and CD bits
after a cache hit as well, to ensure that:
- cache lookups are done after the rules are applied
- cache insertions are done before the flags are restored

Fix a warning about catching a polymorphic exception type by value

```
decafsigners.cc: In member function ‘virtual bool DecafED25519DNSCryptoKeyEngine::verify(const string&, const string&) const’:
decafsigners.cc:140:11: warning: catching polymorphic type ‘class decaf::CryptoException’ by value [-Wcatch-value=]
  140 |   } catch(CryptoException) {
      |           ^~~~~~~~~~~~~~~
decafsigners.cc: In member function ‘virtual bool DecafED448DNSCryptoKeyEngine::verify(const string&, const string&) const’:
decafsigners.cc:276:11: warning: catching polymorphic type ‘class decaf::CryptoException’ by value [-Wcatch-value=]
  276 |   } catch(CryptoException) {
      |           ^~~~~~~~~~~~~~~
```

Merge pull request #10640 from Habbie/dnsdist-docs-grepq

dnsdist docs: clarify grepq num parameter

If we get an NS from the cache, it still could be one forwarding applies to.
Take that into acount when determining dont-query status. Should fix #10638.

Merge pull request #10642 from Habbie/checkkey-null-error

checkKey: handle NULL error string from OpenSSL more gracefully

checkKey: handle NULL error string from OpenSSL more gracefully

fixes #10641

Merge pull request #10639 from omoerbeek/rec-tfo-update

rec: Google is working to fix their TFO issues on their DNS servers

dnsdist docs: clarify grepq num parameter

Google is working to fix their TFO issues on their DNS servers

Merge pull request #10627 from omoerbeek/rec-policy-rm-race

rec: Check in more places if the policy has been updated before using or modifying it.

Handle policy hit after nodata nxdomain Lua hooks and add
regression test for those two and the preresolve case.

Merge pull request #10634 from omoerbeek/rec-macos-kqueue-and-fixes

Move MacOS to kqueue and assorted compile fixes

Move MacOS to kqueue and assorted compile fixes

rec: Pass the Lua context to follow up queries (follow CNAME, dns64)

Handle descriptor de-duplication on addFD/removeFD in the poll mplexer

Add a sample (disabled) benchmark test for the multiplexer

Take a ref, not a copy, of the multiplexer callback parameter in the unit tests

It does not matter there but we don't want to copy that code and
keep the copy in a place where it does.

Work around a formatting oddity

Run the unit tests for all the available multiplexers

And not just the "best" one.

Consistently return the number of ready events, not descriptor

We might have two events for the same descriptor, readable AND
writable. It was already counted as two separate events by the
kqueue multiplexer but not by the other ones.