rec: Add a 'skip DS from child zone' unit test

(cherry picked from commit 2b4f326914460e3c2a8cb1249fdd535090a355f7)

rec: Refuse DS records received from child zones

(cherry picked from commit 3b8b3a7760b655d078aed24c42b0c48e1115eb55)

Merge pull request #9305 from omoerbeek/backport-9268-to-rec-4.3.x

rec: backport of 9268 to 4.3.x: Better exception handling in houseKeeping / handlePolicyHit

Merge pull request #9304 from omoerbeek/backport-9301-to-rec-4.3.x

rec: backport 9301 to rec 4.3.x: take initial refresh time from loaded zone

Fix indentation

rec: backport of 9268 to 4.3.x: Better exception handling in houseKeeping / handlePolicyHit

When no rpz cache is used and no refresh time is specified, use
the refresh time read on the initial load of the zone.

Should fix #9299.

(cherry picked from commit 3f4d728767f3924b4b96b22e6ae312ba8decdfe9)

Merge pull request #9285 from omoerbeek/rec-acl-backport-to-4.3.x

rec: Backport of acl fix to 4.3.x

Backport of acl fix to 4.3.x

Merge pull request #9262 from omoerbeek/backport-9251-to-rec-4.3.x

rec: backport 9251 to rec 4.3.x: Copy the negative cache entry before validating it

rec: Copy the negative cache entry before validating it

Otherwise, in the unlikely case that:
- we need to go to the network in order to validate, for example to
  get or a DNSKEY ;
- the negative cache cleaning is run at that exact moment ;
- and the entry we have a pointer to gets wiped during that cleanup

we might trigger a heap-based use-after-free (read), possibly leading
to a crash if the memory has been reused already.

Merge pull request #9242 from omoerbeek/backport-9031-to-rec-4.3.x

rec: backport 9031 to rec 4.3.x: Fix compilation of the ports event multiplexer

Merge pull request #9243 from omoerbeek/backport-9142-to-rec-4.3.x

rec: backport 9142 to 4.3.x: Defer the NOD lookup until after the response has been sent

Merge pull request #9245 from omoerbeek/backport-9151-to-rec-4.3.x

rec: backport 9151 to rec 4.3.x: Fix the handling of DS queries for the root

Merge pull request #9246 from omoerbeek/backport-9172-to-rec-4.3.x

rec: backport 9172 to rec 4.3.x: Fix RPZ removals when an update has several deltas

Merge pull request #9247 from omoerbeek/backport-9192-to-rec-4.3.x

rec: backport 9192 to rec 4.3.x: Correct depth increments.

Merge pull request #9248 from omoerbeek/backport-9194-to-rec-4.3.x

rec: backport 9194 and followup to rec 4.3.x: cname loop detection

Merge pull request #9249 from omoerbeek/backport-9205-to-rec-4.3.x

rec: backport 9205 to rec 4.3.x: Limit the TTL of RRSIG records as well

rec: Limit the TTL of RRSIG records as well

(cherry picked from commit fe091a7206f833e6927b82b813b5af0882d8c5d9)

rec: Don't copy the records when scanning for CNAME loops

Add/modify tests. Also re-check for the cache case. It *is* a bit
unsettling that case causes an ImmediateServFailException, but I do
not like to touch the general flow right now. That would be required
to make the CNAME cache case more similar to the non-cached case.

Use seperate function to test for loop; empty result vector on loop
detection (like other resolvers I tested  do).

More sophisticated cname loop detection.

If a CNAME target is found in the cache, check if it's equal
to qname and ServFail if so.

Fixes the easy case of #9153. Longer chains with self-refs remain an issue.

(cherry picked from commit 58c526bd0f63d5d424b7a03867b51ace495989a8)

Correct depth increments.

With the introduction of qname minimization, a function
doResolveNoQNameMinimization() was introduced. This function is
called by doResolve() with depth incremented. Due to the recursive
nature of the resursor algortihm (Nomen est Omen) we end up
incrementing the depth too much. This prompted a review of the other
places depth was incremented, and I believe it should only be done
when calling doResolve(). Especially the case "+ 2" in the getAddrs()
call looks strange to me, as the doResolve() calls in getAddrs()
already call doResolve() with depth + 1.

This fixes #9184 and likely other cases of deep recursion caused
by long CNAME chains.

(cherry picked from commit a06745426b4df4d3946c36cd3429a5c8db9a8cd0)

rec: Add a regression test for the RPZ updates with several deltas

(cherry picked from commit ba5f46ae28b9502294424aaa90ff9dad729de757)

rec: Fix RPZ removals when an update has several deltas

(cherry picked from commit b72e5c8578561a8c0a306a861011f5e409a4797b)

rec: Remove trailing whitespace in a comment

(cherry picked from commit a566d83d762a7e1b83742a5eba1a72449b42603e)

rec: Fix formatting in the "root DS" unit test

(cherry picked from commit 2b4ea6d592aadce6e49bdff1035e0a0b0c59763b)

rec: Fix the handling of DS queries for the root

(cherry picked from commit 16dde22c73c195d5e5a4a8bc4483627e90a7643b)

rec: Defer the NOD lookup until after the response has been sent

If the NOD lookup is slow, for example because the destination
authoritative server is down, doing the NOD lookup before the response
has been sent increases the latency a lot.
This commit moves the actual NOD lookup after the response has been
sent, so we can still use the existing mthread (we might actually need
to do a proper DNS resolution to find the target authoritative server)
without keeping the client waiting.

(cherry picked from commit 3bd27e4a01a3614aba3c0cf425e4ab9490318dd4)

Fix compilation of test-dns_random_hh.cc w/ getrandom AND arc4random

(cherry picked from commit b212114bb037c9d202da750af76c6a6ac5c2c652)

Fix compilation of the ports event multiplexer

(cherry picked from commit e9d446399be2db08cc18606537e6f9ba5bee933b)

Merge pull request #9145 from rgacogne/rec43-travis-unbreak-trusty

rec-4.3.x: travis: install pdns package from direct download

travis: install pdns package from direct download

(cherry picked from commit b5b83152b5a56b8095ab0d713a31c3ab5d1ec25b)

Merge pull request #9140 from rgacogne/rec43-formatting

rec-4.3.X: Fix formatting

Merge pull request #9130 from jsoref/rel-rec-4.3.x-suppress-spell-check

Suppress PR based spell check for the rec-4.3.x branch

fix formatting

(cherry picked from commit b963ef8b7568c55493f942d660d9a61103bfc04e)

Merge pull request #9128 from rgacogne/rec43-fix-gethostname-no-hostnamemax

rec-4.3.x: Fix compilation on systems that do not define HOST_NAME_MAX

Suppress PR based spell check

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

(cherry picked from commit 4c990a1b82e091d887d873c7da5254de84aabebb)

Merge pull request #9122 from rgacogne/rec43-gcc10

rec-4.3.x: Fix build with gcc-10

Fix build with gcc-10

From an e-mail from Jeff Law <law@redhat.com>:

Subject: Minor problem in pdns, dnsdist and pdns-recursor packages in Fedora

[ All three packages have embedded copies of the same problematic code
and the same patch fixes all three. ]

Red Hat's compiler team continues to try and be proactive in identifying
issues that will arise as a result of the introduction of a new GCC
release into Fedora each spring.

You're being contacted because a package you maintain in Fedora is going
to fail to build with gcc-10 in the spring.  Yes, I know that's a few
months away, but it's far easier to fix this stuff proactively now than
wait.

Fixing it now also means that your package will continue to be built
with testing versions of gcc-10 as we proceed through the development
process thus allowing additional issues to be caught early.

Your particular package will fail due to an uninstantiated template for
AsyncLoader<Request>.  These kinds of problems are relatively common due to
changes in the tuning of the inliner for gcc-10:

> BUILDSTDERR: /usr/bin/ld: webserver.o: in function `WebServer::serveConnection(std::shared_ptr<Socket>) const':
> BUILDSTDERR: /builddir/build/BUILD/pdns-4.2.1/pdns/webserver.cc:373: undefined reference to `YaHTTP::AsyncLoader<YaHTTP::Request>::feed(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'
> BUILDSTDERR: collect2: error: ld returned 1 exit status
> BUILDSTDERR: make[3]: *** [Makefile:2751: ixfrdist] Error 1
>

The attached patch arranges for an instance to be instantiated when
compiling reqresp.cpp and is sufficient to fix this problem.  The
choice of reqresp.cpp fairly arbitrary IIRC.

Ideally you'll with upstream to get this fixed, but a Fedora patch is
clearly OK as well.   I'll install the attached fix into Fedora in a
week or so if I haven't heard from you.

Jeff

(cherry picked from commit ffb885e937c27bb1c62dee8f18c58ae0d5d52d39)

Merge pull request #9115 from pieterlexis/rec-4.3.x-may-2020

Recursor 4.3.x fixes May 2020

Don't read potentially uninitalized memory if gethostname() failed

If the buffer is smaller than `HOST_NAME_MAX` (64 on Linux but up to
255 bytes in POSIX, which FreeBSD, MacOS etc honor) gethostname()
might return -1 without null-terminating the buffer, causing an
out-of-bounds read.
As we look for the first '.' using `strchr()`, replacing it with a
null byte, we also have a one-byte out-of-bounds write which might
result in a crash or, albeit very unlikely, arbitrary code execution.

(cherry picked from commit aac6348d56f6f3fdba9dd2455ef06081da507c14)

rec: Fix DNSSEC validation of completely empty NXDomain answers

If the answer has no SOA and no NSEC inside a DNSSEC-secure zone,
we should go Bogus.

(cherry picked from commit 1c0ee0d118a886857629aa733c23311057f315f9)

rec: Add a regression test for duplicate entries in a RPZ XFR update

rec: Don't crash on a duplicate RPZ entry received over XFR

rec: Limit the number of queries sent out to get NS addresses per query

Merge pull request #9082 from omoerbeek/backport-8972-to-rec-4.3.x

rec: backport to rec 4.3.x: builder: add ubuntu focal target

builder: add ubuntu focal target

(cherry picked from commit b4f4b1ab4ba666fe16f0201b38778fe66dc8e7ae)

Merge pull request #9048 from omoerbeek/backport-8778-to-rec-4.3.x

rec: Backport 8778 to rec 4.3.x: RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

Warn at refresh=0

(cherry picked from commit 1778d156949380dff86304aa5dbbfb5e10351302)

Tweaks for minimum time

(cherry picked from commit 87e7a7268ff1c2117f51fbc208ea213584d59536)

Introduce an explicit refreshFromConf arg to RPZIXFRTracker.

Always load and store the rpz refresh value from and to the zone.
That we we can easily decide which value to use: if an explicit
refreshFromConf value is set, use that one, otherwise use the one
in the rpz zone.

(cherry picked from commit d70a762725cd7011b15286eb580ad93c932b7641)

rec RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

(cherry picked from commit 982817f34d0826bc80adefe488ba8d0383b0e6cf)

Merge pull request #8963 from omoerbeek/backport-8876-to-rec-4.3.x

rec: backport 8876 to rec-4.3.x: Update boost.m4

Update boost.m4

Closes #8875

(cherry picked from commit 2bcb6ea0ddc99548d3d7d6d317c5d64d55aac6cc)

Merge pull request #8870 from omoerbeek/backport-8864-to-rec-4.3.x

rec: backport 8864 to rec 4.3.x: Only log qname parsing errors when 'log-common-errors' is set

rec: Only log qname parsing errors when 'log-common-errors' is set

(cherry picked from commit 4b4566e8d28ff3b18152213e8c8666aa643f8eb9)

Merge pull request #8863 from omoerbeek/backport-8857-to-rec-4.3.x

rec: backport 8857 to rec 4.3.x: update copyright year

Merge pull request #8865 from omoerbeek/backport-8833-to-rec-4.3.x

rec: backport 8833 to rec 4.3.x: Allow all connections to the PG server in Circle CI

Allow all connections to the PG server in Circle CI

(cherry picked from commit fed8314d910dbd61f3f3abfbf51f8a316b93001c)

It's 2020

(cherry picked from commit 9fce9d6c21253da0fbeed5163d148be4a0bad1f6)

Merge pull request #8831 from omoerbeek/backport-8826-to-rec-4.3.x

rec: Backport 8826 to rec 4.3.x: Refuse NSEC records with a bitmap length > 32

Merge pull request #8827 from omoerbeek/backport-8823-to-rec-4.3.x

rec: Backport 8823 to rec 4.3.x: do continue rpz processing if the current policy is passthru

Refuse NSEC records with a bitmap length > 32

(cherry picked from commit 3d51568b456205c9bd60ceeedb4b43af4a33f019)

Init zone's d_priority field.

Adapt to somewhat older NetmaskTree

Rebased to handle NetmaskTree changes

(cherry picked from commit 9bb0af0351594875cc3a8648e0f523cc666989be)

Fix compilation issue on older compilers

(cherry picked from commit 63464fee3f912b6b6c2d3df10321e17f1781cf6a)

Formatting

(cherry picked from commit 08352cb51e382d27f8204e631d04ad7bfc011f2f)

Avoid copying policies around by passing a Policy& that gets modified
if a match is found.

(cherry picked from commit 2996400c6411b2cbd0b0d8f5d811f7daecad5282)

rec: Lookup RPZ Client IP rules before qname ones

(cherry picked from commit a7e329b836f7ccf4e8cd0c99b5e8aa01865a79f1)

rec: Add more RPZ regression tests

(cherry picked from commit f89ae456f6a975c54d94fd701b16a2fbd1284e82)

Test clientIP before name, fix one more cutoff condition.

(cherry picked from commit a4fc3b3720c8bb6fe872b737cab31ae38e4d1191)

rec: Add unit tests for the RPZ policy priorities and ordering

(cherry picked from commit d2205b89a70d262fac29d0bafacfd6b46675dc34)

Set the d_priority field in the policy objects of a zone.

Comments from racacogne:
Better name for currentPriority, more elegant loops with right cutoff.

(cherry picked from commit 79f64c2b48b641b12f21a6f47b1b7b5ec0f6c7ee)

rec: Add regression tests for the ordering of RPZ policies

(cherry picked from commit fa97374995007c984b756e2e8afb2ac63053107c)

Continue evaluation of RPZ rules after passthru, taking
into account RPZ priorities.

(cherry picked from commit e37e5795852dc954d50a91ecaca2c47b04f16c24)

Merge pull request #8751 from omoerbeek/backport-8740-to-rec-4.3.x

rec: backport 8740 to rec 4.3.x: Update boost.m4

Update boost.m4

This detects boost::context on boost version 1.61 through 1.65 correctly

(cherry picked from commit c54133a4abccd7228b6898af5cb7b684c6225e97)

Merge pull request #8738 from omoerbeek/backport-8729-to-rec-4.3.x

rec: backport 8729 to rec 4.3.x: Explicitly enable dnstap for debian-stretch and buster

Merge pull request #8731 from omoerbeek/backport-8723-to-rec-4.3.x

rec: Backport 8723 to rec 4.3.x: add unit tests for the NSEC3 Opt-Out case

Merge pull request #8730 from omoerbeek/backport-8718-to-rec-4.3.x

rec: backport 8718 to rec 4.3.x: Make ComboAddress::setPort() update the current object

Merge pull request #8728 from omoerbeek/backport-8719-to-rec-4.3.x

rec: Backport 8719 to rec 4.3.x: EPEL 8 now has libfstrm-devel

Merge pull request #8727 from omoerbeek/backport-8705-to-rec-4.3.x

rec: Backport 8705 to rec 4.3.x: Fix the evaluation order for filtering policies (RPZ)

Merge pull request #8726 from omoerbeek/backport-8688-to-rec-4.3.x

rec: Backport 8688 to rec 4.3.x: Give an explcit messsage if something is wrong with socket-dir.

- Explcitly enable dnstap for debian-stretch and buster
- Fix inconsistent ref to stretch vs buster in ubuntu-bionic

(cherry picked from commit 51ad9bdf22e58e95e892b46ebc72904d00592560)

rec: Bow to formatting gods

(cherry picked from commit 68ffd18c09061cca424cf2bd5ab4305b8271cfd8)

Fix braces formatting in pdns/recursordist/test-syncres_cc.cc

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 6850fa5d095bf2bb4251a6bbf9f763a2116f5c6a)

rec: Add unit tests for the NSEC3 Opt-Out case

An Opt-Out NSEC3 only proves that there is no delegation, so we
should not consider a DS NODATA or a NXDOMAIN proved by that RR
secure but insecure.
This was fixed in 18c8faae6c67f734583c5c881d0d083d3253b49e and this
commit adds a few unit tests to cover the fix.

(cherry picked from commit c179741988b9273b12c15a6b318ff0a43fe50081)

Make ComboAddress::setPort() update the current object

Instead of creating a new one.

(cherry picked from commit 79816288afe7169c1f1bb28463f22512ca11c3b9)

Explicit--enable-dnstap, as suggested by lieter.

(cherry picked from commit d9707e17d453042049d8a6cc920d9cc7fe09bf55)

EPEL 8 now has libfstrm-devel

(cherry picked from commit 7799259f199121b2b3feba24f90ef1c5381de51d)

Better function name as suggested by rgacogne.

(cherry picked from commit c6042a88ccf588e718daf1ddd35622d85b7f3dde)

Give an explcit messsage if something is wrong with socket-dir.

(cherry picked from commit 0127f6bdccd1a694c5441e914eaa5550ec6d6e0b)

rec: Apply Otto's suggestion to distinguish which exact policy matched

(cherry picked from commit f1ff3d4f19301340d64f6722d822d15bddda4fb4)

rec: Remove now useless references to '-2' for RPZ hits

(cherry picked from commit 0a9fc756d4d3559ca999756cc6b451693b0467c8)

rec: Add regression tests for RPZ ordering precedence rules

(cherry picked from commit 1d2777e993b3f958b182d90a024826217f28a5a5)