rec: Update the outgoing protobuf tests

We no longer send DS queries to determine the zone cuts before
resolving.

rec: DNAME redirects DNS names subordinate to its owner name

rec: Update the validation state if we have not validated any record

rec: An opt-out NSEC3 is a valid (insecure) proof for an expanded wildcard

rec: We can't validate a record signed by a DNSKEY we are retrieving

rec: Update queries count now that the negindic validation status is right

We used to look for zone cuts when we did not need to.

rec: Fix the validation status computation with negative indication

We need to know whether the denial had signatures to decide whether
we need to lool for a zone cut.

rec: Fix aggressive NSEC unit and regression tests

We don't get the SOA and NSEC(3) since we don't ask for the DS before-hand,
so we need to do a specific query to get it.

rec: Fix a typo in a comment

rec: Clean up the validation of denial (NXD) in the SyncRes

rec: Make sure we don't miss insecure cuts, fix several DNSSEC issues

rec: Get rid of early zone cut computation

This commits removes the early zone cut computation using DS queries.
It instead determines the status of a record when it is either received
from an authoritative server or retrieved from a cache, detecting missed
zone cuts when the expected signatures are not present.
This results in roughly 8% less outgoing queries in quick testing.

One remaining issue is that we do not detect a missing zone cut when
we get signatures but the DS record has not been pusblished. We should
likely try to find a DS denial when the signer is not expected, or
perhaps always?
We also need some optimizations, like perhaps caching the (N)TA,
and updating the zone cuts when we see a DS or denial of a DS in
an answer.

Merge pull request #10116 from pieterlexis/lmdb-docs

docs: improve rendering of lmdb page

Merge pull request #10133 from rgacogne/ddist-cache-shards-purge-expired

dnsdist: Clean up expired entries from all the packet cache's shards

dnsdist: Use modern C++-for loops, as suggested by Otto

dnsdist: Remove now unused shard index, we scan every shard anyway

Merge pull request #10118 from pieterlexis/rec-deprecate-process-no-validate

rec: Change dnssec default to `process`

Merge pull request #10139 from rgacogne/ddist-remove-trailing-test-overflow

dnsdist: Fix size check during trailing data addition, regression tests

s/contented/contended

Merge pull request #10138 from omoerbeek/format-modules

Move to clang-format-11 and start format checks for pdns/modules

extend and fix OutgoingProtobufNoQueriesTest.testA

protobuf test: fix and expand the OutgoingProtobufDefaultTest.testA test

protobuf test: print message and fix a small bug

dnsdist: Revert 'Remove the useless separate entries counter from the cache'

We should not be getting the size of the map without locking it, so
keeping a separate counter is better for now.

Formatting fixes in recursordist

Lets move to bullseye which has more modern clang-format-11

Merge pull request #10137 from omoerbeek/cpp-warnings

Fix a few unused lambda captures and signed/unsigned warnings

dnsdist: Fix size check during trailing data addition, regression tests

Start format checks for pdns/modules

dnsdist: Prevent an infinite loop when a cache shard is below the limit

Fix a few unused lambda captures and signed/unsigned warnings

dnsdist: Make sure the TTD is expired in the cache cleaning unit tests

We were using a too small time margin in the test, causing some issues
to not be expired when the test takes more than one second to insert
the cache entries.
Use a one-hour margin instead.

Merge pull request #10131 from rgacogne/ddist-tcp-counters

dnsdist: Do not update the TCP error counters on idle states

Merge pull request #10134 from rgacogne/ddist-fix-loop-copy-warning

dnsdist: Prevent a copy in DownstreamConnectionsManager::clear()

dnsdist: Prevent a copy in DownstreamConnectionsManager::clear()

We don't care about performance in that place but it prevents a warning.

dnsdist: Use modern C++ loops in the packet cache code

dnsdist: Remove the useless separate entries counter from the cache

Getting the size of the map is a constant-time operation and should
be as accurate so let's just use that.

dnsdist: Remove entries from all the packet cache's shards as well

dnsdist: Clean up expired entries from all the packet cache's shards

Otherwise we might remove enough entries from the first shards only
and stop there, which means that the other shards might remain full.
This might be fine if we clean up often enough since the next cleaning
run will start with the remaining shards, but that's sub-optimal when
we are often nearly full because it will prevent new entries from being
inserted in the shards that are full.

Merge pull request #10132 from omoerbeek/sdig-single-write

sdig: write 2-byte header and request in one write call.

Write 2-byte header and request in one write call.

dnsdist: Do not update the TCP error counters on idle states

Merge pull request #10130 from rgacogne/ddist-src-itf-selection

dnsdist: Remove forgotten warning about source interface selection

dnsdist: Remove forgotten warning about source interface selection

Fix tests

rec: Change dnssec default to `process`

Merge pull request #10108 from rgacogne/ddist-tcp-fixes

dnsdist: Fix several bugs in the TCP code path, add unit tests

dnsdist: Also update the TTD on a 'write' IO update

dnsdist: Re-enable TCP unit tests causing a lot of queries

Fix TCP_FASTOPEN_CONNECT detection, add a fastOpen option to sdig

dnsdist: Fix sorting in Makefile.am (again)

dnsdist: dnsdist-tcp-downstream.cc sorts _before_ dnsdist-tcp.cc

dnsdist: More TCP unit tests, clean up the existing ones

dnsdist: Fix some non-realistic TCP unit tests

dnsdist: Add a unit test for TCP I/O errors with pending queries

dnsdist: Add a unit test for outgoing proxy protocol over TCP

dnsdist: Fix the addition of the proxy protocol payload when reconnecting

dnsdist: Mark GnuTLS DoT connections as closed for reading as well

dnsdist: Clean up XFR handling

dnsdist: Remove redundant test in the TCP path

dnsdist: Add more TCP OOOR unit tests

dnsdist: More TCP unit tests

dnsdist: Fix a possible nullptr-dereference in TCP handling

We need to be careful about the client going away (closes the connection,
for example) while we are sending queued responses.

dnsdist: More TCP out-of-order unit tests

dnsdist: Stricter IO checks in the TCP unit tests and more OOOR tests

dnsdist: Send a TCP query to the backend if we are not reading an answer

dnsdist: Add the TCP response size to the verbose message

dnsdist: Add a lot more of TCP unit tests

dnsdist: Better handling of backend TCP responses

dnsdist: Better handling of TCP responses mixed with queries

dnsdist: Clean up the Downstream TCP code by using a TCPIOHandler

dnsdist: Add more TCP unit tests

dnsdist: No need to retry if the last IO operation failed

dnsdist: [WIP] Add unit tests for the TCP stack

dnsdist: Fix exceptions handling in TCP/DoT worker threads

dnsdist: Add a bit more output to the TCP states debug log

dnsdist: Report the error when the GnuTLS handshake failed

dnsdist: Minor clean-ups in dnsdist-tcp.cc

dnsdist: Add an option to set the size of the TCP internal pipe's buffer

dnsdist: Move TCPClientCollection ctor to dnsdist-tcp.cc

dnsdist: Prefix the static TCP client counting vars with 's_'

dnsdist: Make sure we close the TLS layer before the descriptor

Merge pull request #10047 from rgacogne/rec-aggressive-nsec-caching

rec: Implement rfc 8198 - Aggressive Use of DNSSEC-Validated Cache

Merge pull request #10112 from omoerbeek/rec-less-cdname-logging

rec: Be less verbose telling we are looking up CNAMEs or DNAMEs

rec: Skip the aggressive NSEC cache for internal and forward zones

Merge pull request #10111 from omoerbeek/rec-drop-from-lua

rec: Handle policy (if needed) after postresolve and document the hooks better

Merge pull request #9361 from cmouse/tostring

Tostring

Update pdns/recursordist/docs/lua-scripting/hooks.rst

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Merge pull request #10113 from omoerbeek/rec-protobuf-vstate

rec: Add validation state to protobuf message.

Merge pull request #10103 from rgacogne/ddist-doc-sessions-management

dnsdist: Add a "TLS sessions management" guide

rec: Fix handling of the DNAME bit in parent NSEC(3)s

dnsdist: Fix tests to use tostring

dnsdist: Add __tostring to TimedIPRules

dnsdist: Use __tostring instead of toString

LuaWrapper supports __tostring for objects to make
str() work.

dnsdist: Clarify that sessions and tickets are supported, how the STEK should be stored

rec: Enable the aggressive NSEC cache by default, if DNSSEC is enabled

rec: Add regression tests for the aggressive NSEC cache

rec: Clean up the wildcard denial validation code

docs: improve rendering of lmdb page

rec: Fix the generation of positive answer from a NSEC+wildcard