Move all compiling hints to one place

rec: In compiling docs, warn about the GH tarballs, add deps from README

Merge pull request #12348 from omoerbeek/rec-tcounters-dnssec

rec: move dnssec and policy counters to TCounter object

Merge pull request #12292 from rgacogne/minicurl-smart

auth, rec: Wrap the CURL raw pointers in smart pointers

MiniCurl: Make it safe to reuse a MiniCurl object

Merge pull request #12320 from rgacogne/ddist-pkcs12-openssl3

dnsdist: Fix loading PKCS12-encrypted (RC2 CBC) certs with OpenSSL 3.x

Merge pull request #12329 from rgacogne/ddist-ids-overlay-rebased

dnsdist: Turn DNSQuestion and DNSResponse into internal state overlays

Merge pull request #12347 from omoerbeek/rec-serve-stale-methodname

rec: Use correct logic for isEntryUsable()

Merge pull request #10167 from rgacogne/dnsreplay-spoof-source

dnsreplay: Add an option to spoof the initial source IP

Ands move policy name hits to tcounters

Use correct logic for isEntryUsable()

Existing code was correct but used the wrong name for the method:
isEntryUsable() actually tested for isUnusable, but the caller
compensated for it. Reverse logic to make it more clear.

dnsreplay: Better error message

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #12100 from rgacogne/ddist-single-soa-ixfr

dnsdist: Properly handle single-SOA XFR responses

Merge pull request #12127 from hlindqvist/ixfrdist-ixfr-multiple-changes

Fix multiple-version IXFR request handling in ixfrdist

Merge pull request #12260 from omoerbeek/webserver-json-utf8

auth: Properly encode json strings containing binary data

Merge pull request #12284 from jsoref/github-output

Switch from set-output to GITHUB_OUTPUT

Move DNSSEC and Policy counters to TCounter object

Merge pull request #12337 from omoerbeek/rec-tcounter-test-tweaks

rec: tcounter test tweaks

Update pdns/recursordist/testrunner.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Some systems have a low-resolution nanosleep(2), calling it will
sleep for at least a few ms. Compensate for that by running fewer
loops with longer sleeps.

Also use dns_random and make sure it is initlized properly for all tests.

Merge pull request #12309 from omoerbeek/test-anybind

Test ANY bind UDP handling for the v4 case

Merge pull request #12333 from omoerbeek/rec-sockbufsize-log

Setting socket buf size: not decreasing is not an error

Merge pull request #12322 from mind04/auth-lmdb-tsig

auth: lmdb, fix TSIG key removal

Merge pull request #12325 from Habbie/remove-toysdig

remove toysdig

pdnsutil and testrunner need validate.hh, which the previous commit removed from dist

For setting socket buf size not decreasing is not an error

Merge pull request #12323 from omoerbeek/rec-tcounter-responsestats

rec: make response stats a tcounter object

Merge pull request #12327 from rgacogne/ddist-fix-tcp-only-checktimeout-ms

dnsdist: Fix the health-check timeout computation for DoH backend

dnsdist: Store the maximum UDP payload size in the internal state

dnsdist: Store the initial query time in the internal state as well

That way it is available in the response.

Merge pull request #12328 from rgacogne/ddist-stop-responders-faster

dnsdist: Stop the responders more quickly during the tests

dnsdist: Turn DNSQuestion and DNSResponse into IDState overlays

Remaining:

queryRealTime
udpPayloadSize

dnsdist: Clean up unused fieds from the IDState

dnsdist: Refactor the handling of responses for UDP clients

dnsdist: Add dnsdist::Protocol::isUDP()

dnsdist: Stop the responders more quickly during the tests

We use `SO_REUSEPORT` in these tests so if the old responder is
still around when the next test starts, it is quite likely that
it might get one of the new queries. This is usually fine because
responders with a different behaviour listen on different ports,
but if a query is queued to an old responder socket right during
the time that responder is checking whether it should stop and
the actual exit, the query will be lost.

dnsdist: Fix the health-check timeout computation for DoH backend

The remaining milliseconds after handling the full seconds was not
properly converted to microseconds.

Merge pull request #12326 from omoerbeek/dnsdist-regr-wait-responders

dnsdist: Wait for TCP responder to become active before starting dnsdist

remove toysdig

Wait for TCP responder to become active before starting dnsdist

rec: make response stats a tcounter object

This allows for the packet cache hit path to record response stats without performance impact.

The qtype and rcode counters are capped, as i ran into trouble with
the thread stack sizes on macOS and OpenBSD. See the source comment
for explanation.

Closes #11534

auth: lmdb, fix TSIG key removal

auth, rec: Wrap the CURL raw pointers in smart pointers

dnsdist: Fix loading PKCS12-encrypted (RC2 CBC) certs with OpenSSL 3.x

Merge pull request #12319 from omoerbeek/dnsdist-rlim_t

dnsdist: Use rlim_t for limit

Use rlim_t for limit

Merge pull request #12318 from omoerbeek/rec-reorg

Rec reorg: move recursor specific files to recursordist

Step 3: reformat moved files previously not formatted

Step 2: mv rec specific files to recursordist

Step one: remove symlinks to rec-specific files

Merge pull request #12193 from omoerbeek/rec-tcounters

Introducing TCounters

Merge pull request #12317 from omoerbeek/rec-fix-freebsd

rec: Fix compilation on FreeBSD

Fix compilation on FreeBSD. reported by HellSpawn

Two Bucket fields can be const if we take care in the asssignment op.

Typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #12316 from rgacogne/ddist-disable-tsan-send-wrappers

dnsdist: Disable the send wrappers in our CI

dnsdist: Disable the send wrappers in our CI

The way the send wrappers are implemented, reading the data _after_
it has been sent, cause them to report a data race that does not
exist with existing implementations:
- we call `send()` from thread 1 to send a query to a backend, never
  touching the data or associated metadata again from that thread
- we get a response from the backend in a different thread, thread 2,
  which will then access the metadata and sometimes (truncated UDP
  answers following a DoH query) even modify the data itself
- ASAN and TSAN complain because the wrapper might still be reading
  the data after the UDP datagram has been sent, which is effectively
  a race, but it does not really make any sense for an actual
  implementation of `send()` to do that.

We work around that by disabling the `send()` wrappers in our CI,
for the dnsdist regression tests only, via `intercept_send=0`.

Merge pull request #12308 from omoerbeek/rec-prep-4.8.0

Prep for rec-4.8.0 final release

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Close a race: some test immediately query metrics when a query result is received.
to avoid ordering issues, update metrics snap before answers are sent out.

Since we now register stats in the main startup code, no need to do
it per-thread

Introducing TCounters

This is a mostly lockless (and not using atomics) way to keep track of
counters and other metrics.

Atomic value are more expensive than you would think (especially if
your platform has no native atomic support for your data type), and
using locking all the time for often updated counters is very
expensive as well.

The idea for `TCounters` is based on

https://github.com/ahupowerdns/mcounter

But addresses the issues raised in
https://github.com/ahupowerdns/mcounter/issues/3

Templates are used, the application has to provide a specific class to
hold the values and enums to index these values.  The application
specific class also has to provide a `merge()` method to merge two
instances of the application specific data.  For counters that is
simple: just add them. Averages (or histogrfam) requires a bit more
work. This is demonstrated in `rec-tcounters.{cc,hh}`

At the end of a body of work the application's threads should call the
`updateSnap()` function. If a certain amount of time has passed since
the last time, a thread local snapshot of the thread local data will
be created in a thread-safe way.

The class that collects the aggregated values reads (also in a thread
safe way) from the snapshot values in each thread.

Updates of individual counters are done on thread-local data,
potentially many times per second. The snaps contain a consistent set
of the values and are taken by default once per 100ms, so reletively
seldom.

By using the snap mnechanism the aggragate values computed are based
on internally consistent counter values (as long as related counters
are updated from the same thread). A (small) drawback is that the
values computed might be a bit out of date.

The snapshot approach was suggested by @wojas.

This PR de demonstrates `TCounters` for a few Recursor metrics: simple
counters and double typed average values. For the latter weights are
kept, so that the average of averages can be computed in a proper way.

Mention dnstapNODFrameStreamServer

Merge pull request #12315 from rgacogne/spell-check-fixes

spell-check: Make the spell-checker happy

spell-check: Make the spell-checker happy

Merge pull request #12311 from omoerbeek/dnsdist-docs-top

dnsdist: List default of top argument of topX functions

List default of top argument of topX functions

Merge pull request #12280 from rgacogne/ddist-cache-inserted-rules

dnsdist: Add a new chain of rules triggered after cache insertion

Test ANY bind UDP handling for the v4 case

v6 is more work, as the test client code assumes v4

Tested by neutering IsAnyAddress handling of auth and rec and verifying the tests fail.

Fixes #3965 (at least th v4 part).

Merge pull request #12307 from omoerbeek/update-builder

Update builder to work better on MacOS

Upgrade guide additions for 4.8.0

Prep for rec-4.8.0 final release

Merge pull request #12305 from Habbie/auth-docs-4.5.5-4.6.4-4.7.3

auth 4.5..5 / 4.6.4 / 4.7.3: changelog & secpoll

Merge pull request #12306 from rgacogne/ddist-docs-checkclass-typo

dnsdist: Fix a typo in the Healthcheck configuration guide

Update builder to work better on MacOS

dnsdist: Fix a typo in the Healthcheck configuration guide

As reported by Kai Stian Olstad (thanks!).

Merge pull request #12297 from chbruyand/auth-ifurlup-byteslimit

minicurl: fix missing CURLOPT_XFERINFOFUNCTION on old curl versions

auth 4.5..5 / 4.6.4 / 4.7.3: changelog & secpoll

Merge pull request #12302 from omoerbeek/dnsdist-docs-implicit

dnsdist: Document what happens to a packet not handled by any action

dnsdist: Document what happens to a packet not handled by any action

Merge pull request #12301 from omoerbeek/rec-docs-preoutquery

rec: Document preoutquery limitations

rec: Document preoutquery limitations

Fixes #10247

minicurl: fix missing CURLOPT_XFERINFOFUNCTION on old curl versions

Merge pull request #12203 from sspans/patch-3

rec: Allow both A and AAAA when importing /etc/hosts

dnsreplay: Check early if IP_TRANSPARENT is working when requested

Merge pull request #12282 from Habbie/lmdb-notify

auth lmdb: make outgoing notifications work

Properly encode json string containing binary data

The existing code assumes the strings are alreayd valid UTF8 and contain potential out-of-bound accesses.

Also urlEncode path in log lines, as it trips pytest.xml:

Running tests...

$ 'pytest' '--junitxml=pytest.xml' '-v'
==STDOUT===

==STDERRR===
  File "/home/otto/pdns/regression-tests.api/runtests.py", line 304, in <module>
    print(serverproc.stderr.read())
  File "/usr/lib/python3.9/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xeb in position 4304: invalid continuation byte

There might be more places where this is needed.

Merge pull request #11554 from yog-singh/yog-singh/ddist-ebpf-memlock-limit

dnsdist: Raise RLIMIT_MEMLOCK automatically when eBPF is requested

Take searchsuffix into acount when generating targets of PTR records.

Fix tests for that and also add a testcode for boths v4 and v6 localhost

Avoid too many lookups by using iterator

Allow multiple records with same name for etc/hosts processing

This seems to do something right at least

dnsdist: Add a few missing bindings and docs for the cache-inserted rules

Merge pull request #12281 from rgacogne/ddist-optim-cross

dnsdist: Get rid of TCPCrossProtocolQuerySender

lmdb tests: actually use lmdb config

auth lmdb: make outgoing notifications work

Merge pull request #12298 from Habbie/tinydns-data-fix2

actually fix tinydns data

Merge pull request #12274 from rgacogne/ddist-debug-snmp

dnsdist: Add logs to investigate the SNMP regression tests failure

actually fix tinydns data

Merge pull request #12290 from omoerbeek/mincurl-coverity

Coverity 1501408: Uninitialized scalar field