rec: Fix formatting

rec: Fix the acquired/contended cache counters not being updated

Merge pull request #10659 from omoerbeek/rec-fix-dot-to-port-853

rec: Fix wrong default value call for dot-to-port-853 setting

Fix wrong default value call for dot-to-port-853 setting

Merge pull request #10605 from omoerbeek/rec-policy-hit-stats

rec: Keep a count of per rpz (or filter) hits

One way of solving the race. Still needs operator[] though, since policyName
can vary.

Prometheus help texts and general cleanup. Example output:
pdns_recursor_policy_hits 10
pdns_recursor_policy_hits{type="filter"} 3
pdns_recursor_policy_hits{type="rpz",policyname="rpz.local"} 5
pdns_recursor_policy_hits{type="rpz",policyname="rpzFile"} 2

Merge pull request #10622 from rgacogne/rec-loop-ds-child-zone

rec: Detect a loop when the denial of the DS comes from the child zone

Keep a count of per rpz (or filter) hits, by default only exported via
Prometheus. After #10554 is merged the Promethus help info should be added
to this branch.

Merge pull request #10554 from omoerbeek/rec-per-cpu-thread-metrics

rec: Modify per-thread cpu usage stats to be Prometheus-friendly

Merge pull request #10643 from omoerbeek/rec-ns-from-cache-fw-vs-dontquery

rec: NS from the cache could be a forwarder

Merge pull request #10631 from rgacogne/mplexer-read-write

Handle waiting for a descriptor to become readable OR writable

Merge pull request #10649 from rgacogne/lock-guarded-ddist

Convert dnsdist and the recursor to LockGuarded

Make it explicit that IP addresses are taken into account when deciding to not block
an IP being forwarded to.

Merge pull request #10650 from rgacogne/ddist-rd-cache-miss

dnsdist: Fix the wrong RD and CD flags being cached, causing misses

Modify per-thread cpu usage stats to be Prometheus-friendly.

Plus fix a few small issues wrt HELP texts.

Example output:

pdns_recursor_cpu_msec{thread=0} 10
pdns_recursor_cpu_msec{thread=1} 0
pdns_recursor_cpu_msec{thread=2} 0

Also check if the remoteIP is one of the IPs we would have forwarded to,
even if it's coming from the cache.

rec: Appease the formatting gods (negcache.hh)

Change the static lock() method of MemRecursorCache to be an instance
method of MapCombo. Likewise for negcache.

Document how our wrappers around mutexes work

rec: Do not require taking the lock to know the size of a cache

dnsdist: Remove unused mutex include

rec: Store the carbon configuration in a StateHolder

rec: Convert the dynmetrics to LockGuarded

rec: Move the record caches to LockGuarded (WIP: size() should not need a lock)

Rename the lock() method to write_lock() for shared mutexes

rec: Move the NOD code to LockGuarded

rec: Convert RPZ loader stats to LockGuarded

rec: Convert the aggressive NSEC cache to LockGuarded

dnsdist: Convert remaining Action mutexes to LockGuarded

LockGuarded: Add move constructors

dnsdist: Convert most of the remaining locks to LockGuarded

Convert the StateHolder to LockGuarded

dnsdist: Convert CDBKVStore to SharedLockGuarded

dnsdist: Convert the dynamic blocks topN to LockGuarded

dnsdist: Convert ConcurrentConnectionManager to LockGuarded

dnsdist: Convert GnuTLSTicketsKey to SharedLockGuarded

dnsdist: Convert the web server configuration to LockGuarded

dnsdist: Convert the TCP client counts map to LockGuarded

dnsdist: Convert DynBPF to LockGuarded

dnsdist: Convert the Packet Cache to SharedLockGuarded

dnsdist: Convert DNSCrypt to SharedLockGuarded

speedtest: Add tests for LockGuarded

Add SharedLockGuarded, a read-write lock version of LockGuarded

dnsdist: Move the Lua mutex to LockGuarded

dnsdist: Move the ring buffers to LockGuarded

Move the remote logger class to LockGuarded

dnsdist: Move the eBPF filter class to LockGuarded

Introduce LockGuarded, a lock-protected data

The general idea has been borrowed from Rust's locks: instead of
defining two objects, the one to be protected, T, and the lock, we
define a single LockGuarded<T> object which contains the object.
That provides two big advantages:
- it is immediately clear which data is protected by the lock
- that data simply can't be accessed without holding the lock.

Merge pull request #10598 from omoerbeek/rec-almost-expired-refactor-and-stats

Rec: almost expired refactor and stats

From review feedback: only inc s_almost_expired_tasks_run after task has ended without exceptions
and check for nullptr function in task record.

Expose almost-expired metrics

Refactor stats queue, introducing a pointor to a function that does the work
(pointing to a resolve function) and almost-expired specific stats.

Merge pull request #10546 from omoerbeek/rec-dns64-metrics

rec: Add dns64 metrics

rec: Add a test for 'denial of the DS comes from the child zone' loop

Merge pull request #10602 from omoerbeek/rec-drop-after-preresolve

rec: Process policy and potential Drop action after Lua hooks

Merge pull request #10647 from rgacogne/decaf-polymorphic-exception

Fix a warning about catching a polymorphic exception type by value

dnsdist: Avoid arithmetic on bitfields, as suggested by Otto

Update multiplexer priorities so completion ports are preferred over /dev/poll

dnsdist: Fix the wrong RD and CD flags being cached, causing misses

We used to restore the RD and CD flags from the initial query before
inserting the response into the cache. That would cause an issue
if the flags had been altered, for example via SetNoRecurseAction,
as the cache lookup is done _after_ the actions have been applied
and thus after the flags altered.
If the initial query had the RD bit set, and thus was cleared by the
rule, the response would have been inserted with the RD bit restored,
and no lookup would then succeed because it would be done with the
bit cleared.
This commit fixes the insertion to use the RD and CD bits as set in
the response before restoring them, and restores the RD and CD bits
after a cache hit as well, to ensure that:
- cache lookups are done after the rules are applied
- cache insertions are done before the flags are restored

Fix a warning about catching a polymorphic exception type by value

```
decafsigners.cc: In member function ‘virtual bool DecafED25519DNSCryptoKeyEngine::verify(const string&, const string&) const’:
decafsigners.cc:140:11: warning: catching polymorphic type ‘class decaf::CryptoException’ by value [-Wcatch-value=]
  140 |   } catch(CryptoException) {
      |           ^~~~~~~~~~~~~~~
decafsigners.cc: In member function ‘virtual bool DecafED448DNSCryptoKeyEngine::verify(const string&, const string&) const’:
decafsigners.cc:276:11: warning: catching polymorphic type ‘class decaf::CryptoException’ by value [-Wcatch-value=]
  276 |   } catch(CryptoException) {
      |           ^~~~~~~~~~~~~~~
```

Merge pull request #10640 from Habbie/dnsdist-docs-grepq

dnsdist docs: clarify grepq num parameter

If we get an NS from the cache, it still could be one forwarding applies to.
Take that into acount when determining dont-query status. Should fix #10638.

Merge pull request #10642 from Habbie/checkkey-null-error

checkKey: handle NULL error string from OpenSSL more gracefully

checkKey: handle NULL error string from OpenSSL more gracefully

fixes #10641

Merge pull request #10639 from omoerbeek/rec-tfo-update

rec: Google is working to fix their TFO issues on their DNS servers

dnsdist docs: clarify grepq num parameter

Google is working to fix their TFO issues on their DNS servers

Merge pull request #10627 from omoerbeek/rec-policy-rm-race

rec: Check in more places if the policy has been updated before using or modifying it.

Handle policy hit after nodata nxdomain Lua hooks and add
regression test for those two and the preresolve case.

Merge pull request #10634 from omoerbeek/rec-macos-kqueue-and-fixes

Move MacOS to kqueue and assorted compile fixes

Move MacOS to kqueue and assorted compile fixes

Handle descriptor de-duplication on addFD/removeFD in the poll mplexer

Add a sample (disabled) benchmark test for the multiplexer

Take a ref, not a copy, of the multiplexer callback parameter in the unit tests

It does not matter there but we don't want to copy that code and
keep the copy in a place where it does.

Work around a formatting oddity

Run the unit tests for all the available multiplexers

And not just the "best" one.

Consistently return the number of ready events, not descriptor

We might have two events for the same descriptor, readable AND
writable. It was already counted as two separate events by the
kqueue multiplexer but not by the other ones.

Merge pull request #10626 from aj-gh/doc-dnsdist-setecsoverride

dnsdist: Document that setECSOverride has its drawbacks

Fix typos

Hopefully fix compilation on OpenIndiana

kqueue does not merge read and write events for the same descriptor

So we need to add, remove and process them as two separate events.

Make the kqueue code compile. unit test fails atm.

Handle waiting for a descriptor to become readable OR writable

This commit refactors our multiplexers to be able to wait for a
descriptor to become readable OR writable at the same time.
I kept the two separate maps for an easier handling of the separate
TTD and to limit the amount of changes, but we might want to merge
them into a single map in the future.
The accounting is moved into the parent class instead of being dealt
with by the multiplexers themselves.

I noticed that the poll multiplexer allocates and fills a vector of
pollfd for every call to run(), which seems wasteful, but I did not
want to touch that in this commit.

I did not compile or test the kqueue, ports and /dev/poll multiplexers
yet, so don't merge this without testing them first.

Merge pull request #10623 from omoerbeek/rec-tcp-states

Rec: make all PacketIDs shared_ptr

Add test case and comments

dnsdist: Document that setECSOverride has drawbacks under certain conditions.

Merge pull request #10601 from steffann/master

Document setTag(Response)Action behaviour

Check in more places if the config policy has been updated before
using or modifying it.

Use explicit PacketIDCompare

When using equal_range with a different compare function than the one used by the index, it
should be consistent with the way the index is ordered.

In particular PacketIDBirthdayCompare did not agree with operator< for PacketIDs

Move to a shared PacketID

There is an issue with equal_range() in asendto() that I fixed with an extra
test for the moment.

Add FD to TCPLOG lines

rec: Detect a loop when the denial of the DS comes from the child zone

Merge pull request #10525 from rgacogne/ddist-lmdb-range

dnsdist: Add support for range-based lookups into a Key-Value store

Merge pull request #10616 from omoerbeek/rec-prep-4.4.5-and-4.5.5

rec: Prep for rec-4.4.5 and rec-4.5.5

Merge pull request #10572 from pieterlexis/dockerignore

docker: ignore compiled files

Merge pull request #10607 from peterthomassen/patch-3

Document RFC 6742 types

Merge pull request #10610 from Habbie/auth-4.5-eol-update

auth: EOL update after 4.5 release

Merge pull request #10613 from Habbie/responsestats-type65535

auth: correct upper bounds on d_qtypecounters