Merge pull request #10428 from omoerbeek/rec-tls

Rec: cleanup of outgoing TCP code and DoT to auth or forwarders

move instead of copy data to inMSG

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #10515 from omoerbeek/rec-proxyvalues.clear

rec: Clear the current proxy protocol values each iteration

Clear the current proxy protocol values each iteration

Merge pull request #9474 from Habbie/lua-newcafromraw

newCAFromRaw(): create ComboAddress from raw 4/16 byte strings

Merge pull request #10345 from gregmac/patch-1

Fix documentation around get*DomainMetadata

newCAFromRaw(): create ComboAddress from raw 4/16 byte strings, plus test

(code copied from dnsdist)

Basic test for dot-to-auth-names and don't setup auths for DoT tests,
we don't need them.

Maintain a sseparate inPos and inWanted, this should fix partial reads,
make the code more clear and also allow less resizing.

Implement a simple (braindead) mechansim to force DoT the specific auths: a fixed list
of names or suffixes of the special nameservers.

Add very basic DoT regression test

dotOutqueries metrics: docs, Prometheus and SNMP

Align TCPIOHandlerReadable and Writeable and process some review comments

Very basic config: enable/disbale forcing of DoT for target port 853

Log if DoT was requested but not available/compiled in

Convert timeout values to be specified as a timeval, so sub-second timeout
values can be handled correctly.

Also make sure sdig uses a NB socket, to handle timeouts correctly.

Start of working DoT to auth/forwarder.

The state engine is a bit strange right now, likely needs rework.
I'm also observing connections that remain in "established state"
while I would expect the handler to be cleaned up and connection
to be closed at that point.

Handle IOState::NeedWrite/NeedRead by flipping the status

Merge pull request #10494 from omoerbeek/not-formatted-locale

Set LANG=C explicitly, otherwise it may lead to suprises if the user isn't using LANG=C.

Merge pull request #10393 from jsoref/faq-deleted-zones-do-not-propagate

Correct faq entry to talk about zones

Merge pull request #10414 from 42wim/multipleip

Support multiple ip addresses for dnsdist-resolver lua script

Set LANG=C explicitly, otherwise it may lead to suprises if the user isn't using LANG=C.

Merge pull request #10493 from Habbie/gh-secpoll-mask

in secpoll testing, do not start the auth

Merge pull request #10483 from omoerbeek/log-qtype-qclass

Implement log methods for QType and QClass

in secpoll testing, do not start the auth

Merge pull request #10492 from rgacogne/fix-qtype-getname-speedtest

speedtest: Fix QType::getName() renamed to QType::toString()

update default in docs, thanks @ncartron

speedtest: Fix QType::getName() renamed to QType::toString()

Merge pull request #10441 from rgacogne/ddist-memory-client-mode

dnsdist: Skip some memory allocations in client mode

dnsdist: Remove a default param in the definition of DownstreamState's ctor

Merge pull request #10486 from Habbie/auth-4.5.0-beta1-docs-secpoll

auth-4.5.0-beta1: docs+secpoll

auth-4.5.0-beta1: docs+secpoll

Merge pull request #10481 from omoerbeek/rec-prep-4.5.2

Rec: Prep for 4.4.4 and 4.5.2

Reformat

Implement log methods for QType and QClass

Merge pull request #10467 from omoerbeek/rec-openbsd-kqueue

Switch OpenBSD to kqueue mplexer

Merge branch 'rec-prep-4.4.4' into rec-prep-4.5.2

Mention correct version now that this is backported.

Prep for 4.5.2, no secpoll change yet since it will conflict with the rec-4.4.4 one.

Merge pull request #10437 from Habbie/ldap-docs-master-yes

auth ldap: note that master mode -is- supported

Prep for rec-4.4.4

Merge pull request #10469 from Habbie/dnsdist-no-dnsdist-table

dnsdist: remove dnsdist.* lookup fallback

Merge pull request #10463 from Habbie/lua-forward-reverse

auth LUA: add filterForward function, to limit the scope of createForward[6]

add filterForward function, plus initialiser helper in newNMG

auth LUA testing: test the exception feature

expand LUA createForward/Reverse testing

authtests.py: fix rcode comparison and reporting

rename suffix to format

Merge pull request #10470 from mind04/pdns-auth-py

auth: disable zone-cache for the regression.auth-py tests

auth: fix the nobackend tests

auth: disable zone-cache for the regression.auth-py tests

dnsdist: remove dnsdist.* lookup fallback

Merge pull request #10426 from omoerbeek/rec-refresh-ns-and-addr-fix

rec: When refreshing, do not consider root almost expired

Switch OpenBSD to kqueue mplexer; untested

make ttl value's origin clear

Co-authored-by: Remi Gacogne <github@coredump.fr>

Add testcase for "almost expired".

Merge pull request #10450 from pieterlexis/modernize-ax_check_sign

Update AX_CHECK_SIGN for autoconf 2.71

Merge pull request #10454 from mind04/pdns-tiny-getalldomains

auth: add/fix getAllDomains()

Merge pull request #10466 from tuxis-ie/fix_issue_10465

Update documentation to reflect changes in default-soa-content.

add markup

Merge pull request #10461 from mind04/pdns-createdomain

auth: simplify createDomain()

Merge pull request #10452 from cmouse/doc-unknown-rr

docs: Document unknown record type in supported types

auth: document and check backend zone-cache capability

Update with @Habbie's suggestions

Update documentation to reflect changes in default-soa-content.

There are more settings that need replacing.

Merge pull request #10460 from rgacogne/rec-referral-from-parent-on-ds

rec: Don't follow referral from the parent to the child for DS queries

auth: simplify createDomain()

Merge pull request #10419 from rgacogne/ddist-fix-edns-notify

dnsdist: Properly handle ECS for queries with ancount or nscount > 0

rec: Cleaner way of handling a referral to a child zone for DS queries

rec: Also test for the "referral to child on DS query" case in a Secure zone

Better approach: just never consider root records "almost expired".

They will be refreshed by the periodic task anyway.

rec: Fix a typo in a comment

rec: Add a unit test for the "referral to child on DS query" case

Merge pull request #10445 from rgacogne/rec-typo-edns-prometheus-metric

rec: Fix a typo in the prometheus "edns-ping-mismatches" metric

Merge pull request #10459 from Habbie/auth-py-tests

auth-py tests: unbreak, enable in CircleCI

Update AX_CHECK_SIGN for autoconf 2.71

When running autoreconf with ax_check_sign.m4, autoconf 2.71 complains
about the use of `AX_TRY_COMPILE`:

```
libtoolize: copying file 'm4/lt~obsolete.m4'
configure.ac:29: warning: The macro `AC_TRY_COMPILE' is obsolete.
configure.ac:29: You should run autoupdate.
./lib/autoconf/general.m4:2847: AC_TRY_COMPILE is expanded from...
lib/m4sugar/m4sh.m4:692: _AS_IF_ELSE is expanded from...
lib/m4sugar/m4sh.m4:699: AS_IF is expanded from...
./lib/autoconf/general.m4:2249: AC_CACHE_VAL is expanded from...
./lib/autoconf/general.m4:2270: AC_CACHE_CHECK is expanded from...
m4/ax_check_sign.m4:41: AX_CHECK_SIGN is expanded from...
m4/pdns_check_time_t.m4:1: PDNS_CHECK_TIME_T is expanded from...
configure.ac:29: the top level
```

This updates the macro to use `AC_COMPILE_IFELSE`, which has been present in
autoconf since at least version 2.60, released in 26 Jun 2006 (I did not
check any older releases).

This patch has been [submitted](http://savannah.gnu.org/patch/index.php?10071) [upstream](https://github.com/autoconf-archive/autoconf-archive/pull/225).

Merge pull request #10407 from zeha/bullseye

builder-support: add Debian bullseye dockerfiles

Merge pull request #10462 from pieterlexis/update-boost-m4

Update boost.m4

auth LUA testing: allow 2 seconds for health checking to run

Update boost.m4

rec: Don't follow referral from the parent to the child for DS queries

It happens if the server does not know about the DS special case.
Treat the delegation as a unsigned NODATA answer in that case.

For example for sthc.nordlo.cloud we go from the existing:

```
[1]   sthc.nordlo.cloud: Resolved 'nordlo.cloud' NS ns2.zetup.se to: 159.253.27.75
[1]   sthc.nordlo.cloud: Trying IP 159.253.27.75:53, asking 'sthc.nordlo.cloud|DS'
[1]   sthc.nordlo.cloud: Got 3 answers from ns2.zetup.se (159.253.27.75), rcode=0 (No Error), aa=0, in 35ms
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns2.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns1.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: OPT answer '.' from 'nordlo.cloud' nameservers
[1]   sthc.nordlo.cloud: determining status after receiving this packet
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns2.loopia.se.'
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns1.loopia.se.'
[1]   sthc.nordlo.cloud: status=did not resolve, got 2 NS, looping to them
[1]   sthc.nordlo.cloud.: Nameservers: ns1.loopia.se(37.85ms), ns2.loopia.se(38.26ms)
[1]   sthc.nordlo.cloud: Trying to resolve NS 'ns1.loopia.se' (1/2)
[1]   Nameserver ns1.loopia.se IPs: 93.188.0.20(37.85ms)
[1]   sthc.nordlo.cloud: Resolved 'sthc.nordlo.cloud' NS ns1.loopia.se to: 93.188.0.20
[1]   sthc.nordlo.cloud: Trying IP 93.188.0.20:53, asking 'sthc.nordlo.cloud|DS'
```

to:

```
[1]   sthc.nordlo.cloud: Resolved 'nordlo.cloud' NS ns2.zetup.se to: 159.253.27.75
[1]   sthc.nordlo.cloud: Trying IP 159.253.27.75:53, asking 'sthc.nordlo.cloud|DS'
[1]   sthc.nordlo.cloud: Got 3 answers from ns2.zetup.se (159.253.27.75), rcode=0 (No Error), aa=0, in 35ms
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns2.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns1.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: OPT answer '.' from 'nordlo.cloud' nameservers
[1]   sthc.nordlo.cloud: determining status after receiving this packet
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns2.loopia.se.'
[1]   sthc.nordlo.cloud: got (implicit) negative indication of DS record for 'sthc.nordlo.cloud'
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns1.loopia.se.'
[1]   sthc.nordlo.cloud: status=noerror, other types may exist, but we are done (have negative SOA)
[1] : no signatures for sthc.nordlo.cloud, we likely missed a cut between cloud and nordlo.cloud, looking for it
```

circleci: test auth-py

auth testing: enable svc-autohints when testing autohints

auth: enable zone cache by default

auth: test with a variety of zone-cache-refresh-interval flavors

auth: implement getAllDomains() in geoip backend

auth: add dns-get-all-domains in lua2 backend script

auth: fix possibe crash in getAllDomains()

Merge pull request #10455 from Habbie/builder-yum-upgrade

builder rpmbuild: run yum upgrade first

builder rpmbuild: run yum upgrade first

Merge pull request #10434 from pieterlexis/upgrade-local-ipv6

Fix the upgrade guide for local-ipv6 + other doc fixes

Fix SQL highlighting in pgsql docs

Correctly update local-ipv6 deprecation info

Merge pull request #10376 from Habbie/auth-4.5.0-alpha1-docs

changelog and secpoll for auth-4.5.0-alpha1

update release date; mention new zone cache feature

docs: Document unknown record type in supported types

Merge pull request #10398 from dmachard/doc-dnsdist-eol

 dnsdist: docs new EOL page

Merge pull request #10417 from omoerbeek/rec-docs-PolicyEvent.appliedPolicy

rec: Refer to the description in dq.appliedPolicy for PolicyEvent.appliedPolicy

Merge pull request #10416 from omoerbeek/redundant-checks-updateCacheFromRecords

rec: Remove checks in updateCacheFromRecords that are already done by sanitizeRecords.

Merge pull request #10396 from omoerbeek/rec-log-levels

Take into account g_quiet when determing loglevel and change a few loglevels