Fix SNMP MIB conformance entries and a title

Move the pruning of the two now shared maps (failed servers and non-resolving ns) to the handler thread

rename metric name, promtool says:
pdns_recursor_non_resolving_ns_entries metric names should not contain abbreviated units

Fix stats for failed servers (named hosts for some historic reaon) and add non-resolving metrics.

Also, use a safe copy to dump the maps.

Move fail_t maps to global shared instead of thread local

These maps are only used or modified when we're going out on the
net, so the performance impact of the locking should be relatively
low, while other threads could benefit greatly from information
learned by other threads.

Also, pruning of these data structure is cheap, so holding the lock
while pruning should be a short period of time.

Merge pull request #11189 from omoerbeek/zonemd-rec

rec: ZONEMD validation for Zone to Cache function

Merge pull request #11226 from omoerbeek/zonemd-tests

auth: pdnsutil zonemd-verify-file tests from github.com/verisign/zonemd-test-cases

Clarify docs as suggested by @Habbie

Fix the remaining test cases: our parser does not like a known type followed by a generic blob

Add pdnsutil script and do not ignore *.sh

No colors blasting to terminal; create logs dir

Mark as succeeding. pdnsutil does not validate RRSIGs

Mark as failing: we do not handle mixed TTLs

MArk as failing, unknown record type SIG

typo

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #11242 from Habbie/dnsdist-upgrade-docs-1.7.1-dockercaps

dnsdist upgrade guide: move docker note to 1.7.1

Merge pull request #11241 from Habbie/lmdb-uuid

auth lmdb: add a UUID to newly created databases

dnsdist upgrade guide: move docker note to 1.7.1

auth lmdb: add a UUID to newly created databases

If no supported algo was found, we still can have ZONEMD records
This fixes:
Jan 26 09:57:19 msg="No ZONEMD record, but NSEC(3) record does not deny it" subsystem="ztc" level=0 ts="1643187439.807" zone="."

auth docs: fix rendering

Merge pull request #11232 from Habbie/auth-4.6.0-docs-secpoll

auth-4.6.0: secpoll&docs

auth-4.6.0: secpoll&docs

Tweaks and typos

Apply suggestions from code review

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #11231 from Habbie/ci-socat

auth: install test deps during unit tests, so we get socat

auth: install test deps during unit tests, so we get socat

Init two bools, as they may be used uninitialized if parsing fails

Improved storage of nsec3 info and a few tweaks

Process review comments: check pointer conversions, unify record processing plus assorted small fixes

Process denial of ZONEMD in the NSEC3 case

Docs and small tweaks

If we do not find ZONEMD record(s) and the zone is DNSSEC validated, validate the denial of existence of ZONEMD

Rename config keywords to be more consistent and add ZONEMD to ZoneToCache unit tests

Import of https://github.com/verisign/zonemd-test-cases

Proper ZTC state maintainance on Lua config change

Rework config to be better understandable: two separate config values for zonemd and zonemdDNSSEC validation,
both having values: "ignore", "process", "required"

Move ZoneToCache from a separate thread to the handler, so that we can resolve e.g. DS records.

Config and logic of ZoneMD wrt DNSSEC is too complex, needs more thought.

Add Lua config and do DNSSEC validation of ZONEMD record

Missing:
 - TA/NTA/DS processing (we assume it's in the record cache for the moment)
 - Valdition of of absense of ZONEMD records by proof of non-existence
 - Details of processing of DNSSEC validation result (depending on config)

Solving the first part likely involes running the zone-to-cache tasks in a recursorThread
context.

Add ZONEMD config processing in Lua config

Factor out ZONEMD procesing of single DNSRecord, saves having to save a vector of them

Also add ZONEMD processing for url and file method

Implement ZONEMD when processing zone-to-cache via AXFR

ZONEMD: Refactor reading of records out of verification of records

Merge pull request #11213 from Habbie/auth-4.5.3-secpoll-docs

auth-4.5.3: changelog and secpoll

Merge pull request #11197 from rgacogne/remove-binary_function

Stop using the now deprecated and useless std::binary_function

Merge pull request #11219 from mind04/pdns-cds

auth: fix multiple CDS records in an AXFR

auth-4.5.3: changelog and secpoll

Merge pull request #11217 from rgacogne/rec-doc-typo-policy-event-filter

rec: Fix a typo in the 'semantics' section of the hooks documentation

auth: test CDS multi digest  and removal

auth: test CDS with multiple keys

auth: fix multiple CDS records in an AXFR

rec: Fix a typo in the 'semantics' section of the hooks documentation

Merge pull request #11212 from omoerbeek/fix-zonemd-test-files

Add missing dir in the zonemd test file paths

Add missing dir in the zonemd test file paths

Merge pull request #11207 from omoerbeek/rec-kill-no-prev-decl-warning

rec: Kill a "no previous declaration" warning

Merge pull request #11208 from Habbie/dnspython-2.1.0

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

Merge pull request #11183 from Habbie/auth-2022

bump ws-auth.cc copyright year

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

Merge pull request #11199 from Habbie/ubuntu-jammy

builder: add Ubuntu jammy target

Kill a "no previous declaration" warning

test ubuntu jammy build target

Merge pull request #11203 from omoerbeek/rec-fix-logging-include

rec: Fix #include "logging.hh", it should not be conditional

Merge pull request #11200 from omoerbeek/zonemd-build-issues

Zonemd and sha.hh build issues

Fix #include "logging.hh", it should not be conditional

Merge pull request #11202 from Habbie/swagger-ci

CI: add forgotten collect target

CI: add forgotten collect target

whitespace

Co-authored-by: Remi Gacogne <github@coredump.fr>

evp_md_ctx_new/free was called evp_md_ctx_create/destroy in OpenSSL < 1.1

Merge pull request #11196 from rgacogne/ddist-openssl3

auth, dnsdist, rec: Fix build with OpenSSL 3.0.0

Add ZONEMD test files to distr

add ubuntu jammy build target

Merge pull request #11194 from Habbie/swagger-syntax

auth swagger: add a syntax test and fix a few things

auth CI: do swagger syntax check

Stop using the now deprecated and useless std::binary_function

It is no longer needed since the types can now be automatically
deduced, has been deprecated in C++11 and removed in C++17.

dnsdist: Fix build with OpenSSL 3.0.0

auth swagger: fix some texts in the autoprimary bits

auth swagger: fix autoprimary format

Merge pull request #11188 from rgacogne/ddist-170-changelog-secpoll

dnsdist: ChangeLog and secpoll update for 1.7.0

Merge pull request #11190 from omoerbeek/dnswasher-no-ipcipher

dnswasher: Fix compilation with !HAVE_IPCIPHER

Fix compilation with !HAVE_IPCIPHER

Merge pull request #11171 from rgacogne/ddist-defer-rings-creation

dnsdist: Defer the actual allocation of the ring buffer entries

dnsdist: ChangeLog and secpoll update for 1.7.0

Merge pull request #11181 from Habbie/auth-4.6.0-rc1-docs-secpoll

auth-4.6.0-rc1: docs+secpoll

auth-4.6.0-rc1: docs+secpoll

Merge pull request #11100 from omoerbeek/zonemd

First part of ZONEMD support

Merge pull request #11166 from rgacogne/ddist-load-tls-algos-only

libssl: Load only the ciphers and digests needed for TLS, not all of them

Process review comments on comments

Merge pull request #11186 from omoerbeek/rec-visibility

rec: Build with -fvisibility=hidden by default

Merge pull request #11175 from omoerbeek/rec-var-names

rec: Rename static, global and thread_local vars to follow naming conventions

dnsdist: Avoid a race if one is careless enough to call Rings::init() from two threads at once

dnsdist: Defer the actual allocation of the ring buffer entries

It is a bit cumbersome to have to call `Rings::init()` when we are
ready, but it prevents allocating the default number of entries,
10k, which is quite a lot for small setups. Of course the memory
was released once the configuration had been parsed, but it might
be too late in some cases, and we would end up with a bigger reported
memory usage than our actual one since heap shrinkage seldom happens.

Merge pull request #11184 from chbruyand/dnsdist-mac-ring-buffers

dnsdist: add support to store mac address in query rings

rec: Build with -fvisibility=hidden by default

Same as #11178, but now for rec.

Merge pull request #11178 from rgacogne/ddist-visibility-hidden

dnsdist: Build with `-fvisibility=hidden` by default

Merge pull request #11164 from rgacogne/protozero-171

Update protozero to 1.7.1

dnsdist: adds possibilty to store mac address in query rings

bump ws-auth.cc copyright year

Merge pull request #11167 from Habbie/various-pieter

remove a few lieter dependencies, plus a doc rendering fix

dnsdist: Build with -fvisibility=hidden by default

Not marking our symbols visible by default allows the compiler to do
better optimizations, especially with Link-Time Optimizations that
several distributions are now enabling by default.
The most obvious optimization comes from dead code removal because
the compiler now knows that it cannot be used by an external shared
object, but better inlining might also occur.
Even without LTO, it reduces the final size of stripped binaries and
might improve loading times a bit.

Note that we already mark the symbols that we want to export with the
'default' visibilty, for example for Lua FFI.