Merge pull request #10078 from Habbie/csync

add CSYNC type

gh actions: add secpoll syntax check

pdnsutil load-zone: report errors in exit value

Install vim in docker-auth image

pdnsutil edit-zone requires EDITOR to be set. Currently there's no editor installed at all. Adding vim, so that it can be used as default editor by pdnsutil edit-zone.

amazonlinux-2: install EPEL the amazon way

Merge pull request #10161 from omoerbeek/real-real-mem-usage

"data" size is unreliable, start using RES, as it seem reliable and relavant

"data" size is unreliable, start using RES, as it seem reliable and relevant

dnsdist: Check more TCP-related metrics in the web API

dnsdist: Fix a typo in the prometheus metric name for TCP reuseds

dnsdist: Better messages on TLS connection closed by the remote end

dnsdist: Reuse the most recently used TCP conn first, check liveness

dnsdist: Add metrics about outgoing TCP connections reuse

As well as a new command to get a dump of the current TCP states:
`requestTCPStatesDump()`.

Fix secpoll zone

Merge pull request #10146 from omoerbeek/prep-rec-4.5.0-alpha2

rec: Prep for rec-4.5.0-alpha3

Merge pull request #10153 from mnordhoff/patch-7

docs: Fix formatting typo in Recursor settings

Update edns-padding-from description in the documentation

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Update edns-padding-from description

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

rec: Document the new DNSQuestion.addPaddingToResponse Lua attribute

rec: Add regression tests for the EDNS Padding Lua bindings

rec: Fix the EDNS padding documentation

We actually only pad response to queries coming from the whitelist,
and then you can configure whether we add padding to queries with
the EDNS padding option or not.

rec: Add Lua bindings for the EDNS response padding

rec: Pad with '\0' bytes, not '0'..

Merge pull request #10152 from omoerbeek/rec-non-resolving-followup2

Make the non-resolving cache even less aggressive and add a unit test.

docs: Explain what DNSSEC settings aggressive NSEC requires

rec: Fix a 'prime root NS' race in the protobuf tests

docs: Fix formatting typo in Recursor settings

It's going to be the 9th of March

Add one more unit test and use the proper counter.

nretrieveAddressesForNS is only incremented on empty results, so the clearing did not work as expected.

it's going to be alpha3

rec: Fix the EDNS padding python implementation for dnspython 2.0.0

rec: EDNS padding will be present in 4.5, it did not make it to 4.4

rec: Clarify (hopefully) which responses are padded

rec: Fix a wrong anchor in the documentation

rec: Skip IPv6 tests on Circle CI (second take)

rec: Fix EDNS padding regression test in Circle CI (no IPv6 there)

rec: Fix the padding size computation, remove outdated comment

rec: Add tests for EDNS Padding

rec: Implement EDNS0 padding (rfc7830)

rec: Update the outgoing protobuf tests

We no longer send DS queries to determine the zone cuts before
resolving.

Make the non-resolving cache even less aggressive and add a unit test.

In particular, we clear the entry if we see a succeeding resolve.
This means that we only a couple of failing resolves in a row will
cause a ban. Also change to default non-resolving-ns-max-fails from
1 to 5.

rec: DNAME redirects DNS names subordinate to its owner name

rec: Update the validation state if we have not validated any record

Merge pull request #10151 from omoerbeek/rec-non-resolving-followup

rec: Only put a failing NS in the map if we actually went out and that produced no results

rec: An opt-out NSEC3 is a valid (insecure) proof for an expanded wildcard

rec: We can't validate a record signed by a DNSKEY we are retrieving

Talk about the rec_control changes and the new non-resolving-... settings

Merge pull request #10149 from omoerbeek/sdig-doh-fastopen

sdig: implement TCP Fast Open for DoH

Only put a failing NS in the map if we actually went out and that
produced no results.

While there, rename a var to be different from the method name.

Merge pull request #10105 from Habbie/ldap-docs-bindmethod

auth ldap docs: s/authmethod/bindmethod/

make CURLOPT_TCP_FASTOPEN conditional on availability

sdig: implement TCP Fast Open for DoH

While at it, honour timeout parameter as well for DoT.

Merge pull request #10104 from Habbie/sync-dnsmessage

update dnsmessage.proto from upstream

Process review comments

Prep for rec-4.5.0-alpha2

docs: ecswho is a Netmask, not a ComboAddress

auth: implement disabled in LMDB backend

rec: Update queries count now that the negindic validation status is right

We used to look for zone cuts when we did not need to.

rec: Fix the validation status computation with negative indication

We need to know whether the denial had signatures to decide whether
we need to lool for a zone cut.

rec: Fix aggressive NSEC unit and regression tests

We don't get the SOA and NSEC(3) since we don't ask for the DS before-hand,
so we need to do a specific query to get it.

Merge pull request #10140 from rgacogne/ddist160-a2-changelog

dnsdist: Update the ChangeLog and secpoll zone for 1.6.0-alpha2

Fix configure issue with systemd runtime dir detection

This issue was introduced in 7bbaae110abb53f43d0bf60c81efe3bb8630a925

Merge pull request #10010 from omoerbeek/check-time_t-size

Check sizeof(time_t) to be at least 8

rec: Fix a typo in a comment

rec: Clean up the validation of denial (NXD) in the SyncRes

rec: Make sure we don't miss insecure cuts, fix several DNSSEC issues

rec: Get rid of early zone cut computation

This commits removes the early zone cut computation using DS queries.
It instead determines the status of a record when it is either received
from an authoritative server or retrieved from a cache, detecting missed
zone cuts when the expected signatures are not present.
This results in roughly 8% less outgoing queries in quick testing.

One remaining issue is that we do not detect a missing zone cut when
we get signatures but the DS record has not been pusblished. We should
likely try to find a DS denial when the signer is not expected, or
perhaps always?
We also need some optimizations, like perhaps caching the (N)TA,
and updating the zone cuts when we see a DS or denial of a DS in
an answer.

Merge pull request #10116 from pieterlexis/lmdb-docs

docs: improve rendering of lmdb page

Merge pull request #10133 from rgacogne/ddist-cache-shards-purge-expired

dnsdist: Clean up expired entries from all the packet cache's shards

dnsdist: Update the ChangeLog and secpoll zone for 1.6.0-alpha2

dnsdist: Use modern C++-for loops, as suggested by Otto

dnsdist: Remove now unused shard index, we scan every shard anyway

Merge pull request #10118 from pieterlexis/rec-deprecate-process-no-validate

rec: Change dnssec default to `process`

Merge pull request #10139 from rgacogne/ddist-remove-trailing-test-overflow

dnsdist: Fix size check during trailing data addition, regression tests

s/contented/contended

Merge pull request #10138 from omoerbeek/format-modules

Move to clang-format-11 and start format checks for pdns/modules

extend and fix OutgoingProtobufNoQueriesTest.testA

protobuf test: fix and expand the OutgoingProtobufDefaultTest.testA test

protobuf test: print message and fix a small bug

dnsdist: Revert 'Remove the useless separate entries counter from the cache'

We should not be getting the size of the map without locking it, so
keeping a separate counter is better for now.

Formatting fixes in recursordist

Lets move to bullseye which has more modern clang-format-11

Merge pull request #10137 from omoerbeek/cpp-warnings

Fix a few unused lambda captures and signed/unsigned warnings

dnsdist: Fix size check during trailing data addition, regression tests

Start format checks for pdns/modules

dnsdist: Prevent an infinite loop when a cache shard is below the limit

Fix a few unused lambda captures and signed/unsigned warnings

dnsdist: Make sure the TTD is expired in the cache cleaning unit tests

We were using a too small time margin in the test, causing some issues
to not be expired when the test takes more than one second to insert
the cache entries.
Use a one-hour margin instead.

Merge pull request #10131 from rgacogne/ddist-tcp-counters

dnsdist: Do not update the TCP error counters on idle states

Merge pull request #10134 from rgacogne/ddist-fix-loop-copy-warning

dnsdist: Prevent a copy in DownstreamConnectionsManager::clear()

dnsdist: Prevent a copy in DownstreamConnectionsManager::clear()

We don't care about performance in that place but it prevents a warning.

dnsdist: Use modern C++ loops in the packet cache code

dnsdist: Remove the useless separate entries counter from the cache

Getting the size of the map is a constant-time operation and should
be as accurate so let's just use that.

dnsdist: Remove entries from all the packet cache's shards as well

dnsdist: Clean up expired entries from all the packet cache's shards

Otherwise we might remove enough entries from the first shards only
and stop there, which means that the other shards might remain full.
This might be fine if we clean up often enough since the next cleaning
run will start with the remaining shards, but that's sub-optimal when
we are often nearly full because it will prevent new entries from being
inserted in the shards that are full.

Merge pull request #10132 from omoerbeek/sdig-single-write

sdig: write 2-byte header and request in one write call.

Write 2-byte header and request in one write call.

dnsdist: Do not update the TCP error counters on idle states

Merge pull request #10130 from rgacogne/ddist-src-itf-selection

dnsdist: Remove forgotten warning about source interface selection

dnsdist: Remove forgotten warning about source interface selection

Fix tests