Add back TCP cleanup task that got lost somehow

Replace manual maintainance of periodic tasks by an OO approach.

This is much more clean and easier and enables a lot more freedom
to have different periods or threads for different tasks, though
that freedom is not used yet.

Merge pull request #11252 from omoerbeek/rec-threads

Rec: thread refactoring

Merge pull request #11288 from omoerbeek/rec-policy-drop

Rec: document changes to policy.DROP better and warn on using the now unsupported way

Process review comments: rename getname() and move name in RecThreadInfo class

Do not hold the lock while running the task.

PLus some refactoring.

Make ping reply with thread name

Use scoping to make a clear distinction between thread-specific statics and general thread_local ones.

Use correct bound for getting CPU stats. There's an inconsistentcy here:
broadcastAccFunction does not include the handler, but does include the taskThread
This has to be made consistent. For the moment, keep the existing behaviour.

Reformat

Update of cpu-map docs to describe the actual state of affairs and stop talking about old versions.

Refactor recursorThread startup and join code.

Change TaskQueue to be no longer thread local

Introduce taskThread

Move threadinfo vector to RecThreadInfo class

Kill a few naked pointers

Refactor RecThreadInfo to be more than just a struct

The on the same line with if, whitespace issues

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11283 from omoerbeek/rec-hints

rec: Allow disabling of processing the root hints

Now use the moderen method in the example script

Log an error if pdns.DROP is used as rcode in Lua callbacks

Mention pdns.DROP is old in all places relevant and add refs to make the callback semantics
section easier to find. Also add upgrade note.

Use an existing name for CANME chasing

Fix most runtime issues, the script suffered bit-rot

Reformat to make the style more consistent

Upgrade guide and doc tweaks

Merge pull request #11062 from Habbie/docs-filterforward-4.5

auth docs: clarify that filterForward is new in 4.5.0 and fix example

Merge pull request #11269 from omoerbeek/rec-syncres-threadlocal

rec: move two maps from thread_local to shared

Fix SNMP MIB conformance entries and a title

Merge pull request #11251 from rgacogne/ddist-outgoing-tls-sni

dnsdist: Set Server Name Indication on outgoing TLS connections (DoT, DoH)

Merge pull request #11258 from rgacogne/ddist-fix-race-in-testlua

dnsdist: Do not execute 'newThread' in client or config check modes

Merge pull request #11240 from omoerbeek/rec-tcp-ooo-docs

rec: Elaborate on TCP and OOO

Add links to relevant metrics

Allow disabling of processing the root hints

This also make sure we use the right dnssec mode for processing hints
and changes a few log levels to Debug to be less verbose.

Move the pruning of the two now shared maps (failed servers and non-resolving ns) to the handler thread

Merge pull request #11227 from Habbie/lua-ifurlhcup

auth LUA: add ifurlextup function

rename metric name, promtool says:
pdns_recursor_non_resolving_ns_entries metric names should not contain abbreviated units

dnsdist: Do not execute 'newThread' in client and config check modes

Merge pull request #11270 from Habbie/auth-dnsdist-eol

auth/dnsdist: update EOL docs

Merge pull request #11271 from Habbie/dnsdist-doc-newthread

dnsdist: docs for newThread&friends

Merge pull request #11174 from rgacogne/ddist-poolaction-continue

dnsdist: Add a parameter to PoolAction to keep processing rules

dnsdist: docs for newThread&friends

dnsdist: Add regression tests for outgoing SNI

Merge pull request #11173 from rgacogne/ddist-proxy-proto-ffi

dnsdist: Add Lua FFI helpers for protocol and MAC address access, proxy protocol payload generation

dnsdist: Add a regression test for PoolAction's second option

dnsdist: Unbreak 'ContinueAction' regression tests

auth LUA: add ifurlextup function

Merge pull request #11267 from omoerbeek/auth-doc-ifurlup

Rewrite the section defining the behaviour of urlup.

fix formatting

dnsdist EOL docs: correct after 1.7 release

auth EOL docs: correct after 4.6 release

Fix stats for failed servers (named hosts for some historic reaon) and add non-resolving metrics.

Also, use a safe copy to dump the maps.

Merge pull request #11266 from omoerbeek/rec-fix-zonemd-test

rec: Fix zone-to-cache test by properly initing trust anchors and dnssec mode

Merge pull request #11257 from omoerbeek/rec-fix-lwres-isnew

Rec: fix lwres isnew

Rewrite the section defining the behaviour of urlup.

I could not figure out the behaviour from reading the existing text,
so it needed a rewrite.

Fix zone-to-cache test by properly initing trust anchors and dnssec mode

Merge pull request #11089 from pieterlexis/remote-dnssec-docs

Update remote docs based on experience

Merge pull request #11262 from Habbie/el8-builds

builder: migrate EL8 builds to oraclelinux, rename centos8 to el8 where possible

builder: add el-7 alias for centos-7

take centos 8-stream from quay

builder CI: switch oraclelinux-8 to el-8

cleanup

builder: archs for oraclelinux-8; el-8 symlinks

Merge pull request #11256 from rgacogne/rec-regression-test-returncode

rec: Fix the exit code when the recursor fails to start in our tests

auth LUA docs: fix ifurlup example

Merge pull request #11225 from rgacogne/rec-soa-and-ns-in-ds-denial

rec: Reject non-apex NSEC(3)s that have both the NS and SOA bits set

Merge pull request #11245 from omoerbeek/rec-ds-cname-insecure

rec: a CNAME answer on DS query should abort DS retrieval

Merge pull request #11253 from rgacogne/ddist-outgoing-doh-check-timeout

dnsdist: Fix the health-check timeout for outgoing DoH connections

Merge pull request #11255 from rgacogne/ddist-config-check

dnsdist: Fix 'inConfigCheck()'

rec: Fix the exit code when the recursor fails to start in our tests

Initialize isNew before calling a exception throwing function

Fix indent

TCPIOHandler: Handle empty TLS hostname in outgoing connections

dnsdist: Fix 'inConfigCheck()'

Move fail_t maps to global shared instead of thread local

These maps are only used or modified when we're going out on the
net, so the performance impact of the locking should be relatively
low, while other threads could benefit greatly from information
learned by other threads.

Also, pruning of these data structure is cheap, so holding the lock
while pruning should be a short period of time.

dnsdist: Fix the health-check timeout for outgoing DoH connections

The health-check timeout is in milliseconds, contrary to the other
ones that are in seconds.

dnsdist: Set Server Name Indication on outgoing TLS connections (DoT, DoH)

NSEC -> NSEC3

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

NSEC -> NSEC3

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add a test for the case where an (Insecure) domain fails to get a DS
record because of a CNAME loop, avoiding a SERVFAIL.

If we get a CNAME when asking for a DS, we should give up and return vState::BogusUnableToGetDSs

Merge pull request #11189 from omoerbeek/zonemd-rec

rec: ZONEMD validation for Zone to Cache function

Merge pull request #11226 from omoerbeek/zonemd-tests

auth: pdnsutil zonemd-verify-file tests from github.com/verisign/zonemd-test-cases

Clarify docs as suggested by @Habbie

Fix the remaining test cases: our parser does not like a known type followed by a generic blob

Add pdnsutil script and do not ignore *.sh

No colors blasting to terminal; create logs dir

Mark as succeeding. pdnsutil does not validate RRSIGs

Mark as failing: we do not handle mixed TTLs

MArk as failing, unknown record type SIG

typo

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #11242 from Habbie/dnsdist-upgrade-docs-1.7.1-dockercaps

dnsdist upgrade guide: move docker note to 1.7.1

Merge pull request #11241 from Habbie/lmdb-uuid

auth lmdb: add a UUID to newly created databases

dnsdist upgrade guide: move docker note to 1.7.1

auth lmdb: add a UUID to newly created databases

Elaborate on TCP and OOO

Fixes the rec part of #11238

If no supported algo was found, we still can have ZONEMD records
This fixes:
Jan 26 09:57:19 msg="No ZONEMD record, but NSEC(3) record does not deny it" subsystem="ztc" level=0 ts="1643187439.807" zone="."

auth docs: fix rendering

Merge pull request #11232 from Habbie/auth-4.6.0-docs-secpoll

auth-4.6.0: secpoll&docs

auth-4.6.0: secpoll&docs