rec: Validate cached DNSKEYs against the DSs, not the RRSIGs only

DNSKEYs might be cached in a non-validated state ("Indeterminate")
when the DNSSEC mode is set to "Process" and the initial query did
not ask for validation.
We would then validate the DNSKEY records against the RRSIGs, like
for regular records, but not against the DSs.

(cherry picked from commit 453f37736a4d372e16755a903f5b5d5ac52b0c17)

Merge pull request #9284 from omoerbeek/rec-acl-backport-to-4.2.x

rec: acl backport to 4.2.x

Backport of acl fix to 4.2.x

Merge pull request #9261 from omoerbeek/backport-9251-to-rec-4.2.x

rec: backport 9251 to re 4.2.x: Copy the negative cache entry before validating it

rec: Copy the negative cache entry before validating it

Otherwise, in the unlikely case that:
- we need to go to the network in order to validate, for example to
  get or a DNSKEY ;
- the negative cache cleaning is run at that exact moment ;
- and the entry we have a pointer to gets wiped during that cleanup

we might trigger a heap-based use-after-free (read), possibly leading
to a crash if the memory has been reused already.

Merge pull request #9146 from rgacogne/rec42-travis-unbreak-trusty-spellcheck

rec-4.2.x: Unbreak travis and remove spell checking

Suppress PR based spell check

(cherry picked from commit 16f3f8060ece690049dbf8059cf2f5a2bcc21bc2)

travis: install pdns package from direct download

(cherry picked from commit b5b83152b5a56b8095ab0d713a31c3ab5d1ec25b)

Merge pull request #9133 from rgacogne/rec42-fix-gethostname-no-hostnamemax

rec-4.2.x: Fix compilation on systems that do not define HOST_NAME_MAX

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

(cherry picked from commit 4c990a1b82e091d887d873c7da5254de84aabebb)
(cherry picked from commit 5c21b47fbc35ddcb8d939eb8541c6c3bad1080a8)

Merge pull request #9123 from rgacogne/rec42-gcc10

rec-4.2.x: Fix build with gcc-10

Fix build with gcc-10

From an e-mail from Jeff Law <law@redhat.com>:

Subject: Minor problem in pdns, dnsdist and pdns-recursor packages in Fedora

[ All three packages have embedded copies of the same problematic code
and the same patch fixes all three. ]

Red Hat's compiler team continues to try and be proactive in identifying
issues that will arise as a result of the introduction of a new GCC
release into Fedora each spring.

You're being contacted because a package you maintain in Fedora is going
to fail to build with gcc-10 in the spring.  Yes, I know that's a few
months away, but it's far easier to fix this stuff proactively now than
wait.

Fixing it now also means that your package will continue to be built
with testing versions of gcc-10 as we proceed through the development
process thus allowing additional issues to be caught early.

Your particular package will fail due to an uninstantiated template for
AsyncLoader<Request>.  These kinds of problems are relatively common due to
changes in the tuning of the inliner for gcc-10:

> BUILDSTDERR: /usr/bin/ld: webserver.o: in function `WebServer::serveConnection(std::shared_ptr<Socket>) const':
> BUILDSTDERR: /builddir/build/BUILD/pdns-4.2.1/pdns/webserver.cc:373: undefined reference to `YaHTTP::AsyncLoader<YaHTTP::Request>::feed(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'
> BUILDSTDERR: collect2: error: ld returned 1 exit status
> BUILDSTDERR: make[3]: *** [Makefile:2751: ixfrdist] Error 1
>

The attached patch arranges for an instance to be instantiated when
compiling reqresp.cpp and is sufficient to fix this problem.  The
choice of reqresp.cpp fairly arbitrary IIRC.

Ideally you'll with upstream to get this fixed, but a Fedora patch is
clearly OK as well.   I'll install the attached fix into Fedora in a
week or so if I haven't heard from you.

Jeff

(cherry picked from commit ffb885e937c27bb1c62dee8f18c58ae0d5d52d39)

Merge pull request #9116 from pieterlexis/rec-4.2.x-may-2020

Recursor 4.2.x fixes May 2020

Don't read potentially uninitalized memory if gethostname() failed

If the buffer is smaller than `HOST_NAME_MAX` (64 on Linux but up to
255 bytes in POSIX, which FreeBSD, MacOS etc honor) gethostname()
might return -1 without null-terminating the buffer, causing an
out-of-bounds read.
As we look for the first '.' using `strchr()`, replacing it with a
null byte, we also have a one-byte out-of-bounds write which might
result in a crash or, albeit very unlikely, arbitrary code execution.

(cherry picked from commit aac6348d56f6f3fdba9dd2455ef06081da507c14)
(cherry picked from commit be93bc7da4caddc5a6c84fa7b42e82592e9add49)

rec: Fix DNSSEC validation of completely empty NXDomain answers

If the answer has no SOA and no NSEC inside a DNSSEC-secure zone,
we should go Bogus.

(cherry picked from commit 1c0ee0d118a886857629aa733c23311057f315f9)

Backport to rex-4.2.x: Don't crash on a duplicate RPZ entry received over XFR

rec: backport Limit the number of queries sent out to get NS addresses per query to 4.2.x

Merge pull request #9081 from omoerbeek/backport-8972-to-rec-4.2.x

rec: backport to rec 4.2.x: builder: add ubuntu focal target

builder: add ubuntu focal target

(cherry picked from commit b4f4b1ab4ba666fe16f0201b38778fe66dc8e7ae)

Merge pull request #8988 from omoerbeek/rec-backport-gen-version-to-4.2.x

Backport 7822 to rec-4.2.x: Update gen-version to use latest tag for version nunmbers

Update builder

Backport 7822: Update gen-version to use latest tag for version nunmbers

Merge pull request #8964 from omoerbeek/backport-8876-to-rec-4.2.x

rec: backport 8876 to rec-4.2.x: Update boost.m4

Update boost.m4

Closes #8875

(cherry picked from commit 2bcb6ea0ddc99548d3d7d6d317c5d64d55aac6cc)

Merge pull request #8869 from omoerbeek/backport-8864-to-rec-4.2.x

rec: backport 8864 to rec 4.2.x: Only log qname parsing errors when 'log-common-errors' is set

rec: Only log qname parsing errors when 'log-common-errors' is set

(cherry picked from commit 4b4566e8d28ff3b18152213e8c8666aa643f8eb9)

Merge pull request #8832 from omoerbeek/backport-8826-to-rec-4.2.x

rec: Backport 8825 to rec 4.2.x: Refuse NSEC records with a bitmap length > 32

Refuse NSEC records with a bitmap length > 32

(cherry picked from commit 3d51568b456205c9bd60ceeedb4b43af4a33f019)

Merge pull request #8802 from omoerbeek/backport-8559-to-rec-4.2.x

rec: backport 8559 to rec 4.2.x: Avoid startup race by setting the state of a tread before starting it.

Avoid startup race by setting the state of a tread before starting it.

(cherry picked from commit ef31b0902fa09fd9a03276b56a51d88d63e68c6f)

Merge pull request #8752 from omoerbeek/backport-8740-to-rec-4.2.x

rec: backport 8740 to rec 4.2.x: Update boost.m4

Update boost.m4

This detects boost::context on boost version 1.61 through 1.65 correctly

(cherry picked from commit c54133a4abccd7228b6898af5cb7b684c6225e97)

Merge pull request #8696 from omoerbeek/backport-7928-to-rec-4.2.x

rec: Backport 7928 to rec 4.2.x: Better detection of Bogus zone cuts for DNSSEC validation

Merge pull request #8674 from omoerbeek/backport-8639-to-rec-4.2.x

rec: backport 8639 to 4.2.x: debian postinst / do not fail on user creation if it already exists

Merge pull request #8686 from omoerbeek/backport-8684-to-rec-4.2.x

rec: backport 8684 to 4.2.x: parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

rec: An Opt-Out NSEC3 RR only proves that there is no secure delegation

(cherry picked from commit 18c8faae6c67f734583c5c881d0d083d3253b49e)

rec: Add comments to clarify the no DS case when detecting zone cuts

(cherry picked from commit 46df9251dfbd1d45ee26e410011713f2a550c721)

rec: Better detection of Bogus zone cuts for DNSSEC validation

(cherry picked from commit dd359a9fc01c318ef2fc1753d3e8170be5977c05)

parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

(cherry picked from commit 5285831402f3f3a209c16cb3bd743eea640cf894)

rec: debian postinst / do not fail on user creation if it already exists

(cherry picked from commit fddad2718fb994d4fd016c03e1e05ef6c67aae14)

Merge pull request #8552 from omoerbeek/backport-8525-to-rec-4.2.x

rec: Backport 8525 to rec 4.2.x: Purge map of failed auths periodically by keeping a last changed timestamp.

Avoid looking up an entry twice by using a ref.

(cherry picked from commit 3eba27418a7102a82777b74bd199943b67a93a6e)

ednsmap might be cleared while yielding; so reassign pointer.

Switch away from a ref to a pointer because of above and use modern
init for EDNSStatus.

(cherry picked from commit 90e8ea71abacb8879482fe27a5521d1f4d0ef76d)

If modeSetAt is zero, we never updated the entry and it can go.

(cherry picked from commit b5788c3649bee0d5c86c6900ee3dd2530a494bd1)

Also purge t_sstorage.ednsstatus and include edns size in the periodic report.

(cherry picked from commit bbc7101c05672d91f5131fa5baa884a750e139a4)

man page bits

(cherry picked from commit c71d64351b4918e92004691ea534cf8bcbcccbdd)

Purge map of failed auths periodically by keeping a last changed timestamp.

SyncRes thread local storage includes a map of failed auths which was
only cleaned if a specific IP was contacted again and that contact
succeeded. Persistent failing auths or auths that are never tried
again remained in the map.

While here add code to dump the failed servers map. Might (partially?)
solve #7771.

(cherry picked from commit 60e5208a9a20d4cd2153d33b8cd500e9b241373c)

Merge pull request #8528 from omoerbeek/backport-8470-to-rec-4.2.x

rec: Backport 8470 to rec 4.2.x:  prime NS records of root-servers.net parent (.net)

Avoid mthread race when using the set of rootNSZones.

It is better to make sure . entries are not added to the set.

Do not wipe . NS; this can happen with custom hint files that are
used by regression tests.

Wipe entry form cache before getting a new one to make sure we
actually get fresh records.

(cherry picked from commit ed1bbac786281f515b4ceaf22afdf6c62bf614b4)

Add a comment explaining things.

(cherry picked from commit c16c8fe53cac7473b16c81ca56410c14ad3bf324)

Also call primeRootNSZones() from syncres (after primeHints())

(cherry picked from commit 159b1242bab07c12620b9c40d3726b752ba0e32e)

prime tld of root name server names

(cherry picked from commit 1b4e0ae09d2d81b70524746293f3e4f16d722ad4)

Merge pull request #8427 from pieterlexis/backport-8400-to-rec-4.2.x

Rec 4.2: Add CentOS 8 as builder target

Merge pull request #8493 from omoerbeek/backport-8340-to-rec-4.2.x

Rec: backport to 4.2.x: Fix #8338: Issue with "zz" abbreviation for IPv6 RPZ triggers

Merge pull request #8495 from omoerbeek/backport-8482-to-rec-4.2.x

rec: backport to 4.2.x: Add generated dnstap.pb.{cc,h} to the 'clean' target

rec: Add generated dnstap.pb.{cc,h} to the 'clean' target

(cherry picked from commit 74bdddef039219ef389eaae9731ae0f33b74b142)

Fix #8338: Issue with "zz" abbreviation for IPv6 RPZ triggers

While there, add unittest for translating rpz names into netmasks

(cherry picked from commit 301148e6d77e7cf8aed3b1b174bf6dbbeae7dc67)

Merge pull request #8452 from omoerbeek/backport-8451-to-rec-4.2.x

rec: Backport 8451 to rec 4.2.x: Basic validation of $GENERATE parameters

Basic validation of $GENERATE parameters

(cherry picked from commit 775a673a1798d01e5e259a00cff7a757f5350f40)

Add CentOS 8 as builder target

(cherry picked from commit 19293f266cf7bb719bd6975b3e06994f49e0e583)

Merge pull request #8337 from omoerbeek/backport-8332-to-rec-4.2.x

backport to rec -4.2.x: Remove version number in man page footer

Remove version number

(cherry picked from commit 760d679c2a3566dac8001115db95762344cdcbd5)

Merge pull request #8124 from pieterlexis/backport-7951-to-rec-4.2.x

Backport #7951 to rec 4.2.x

Merge pull request #8244 from PowerDNS/revert-8238-backport-8236-to-rec-4.2.x

Revert "rec: backport 8236: Add missing inc in rpz findClientPolicy loop."

Revert "rec: backport 8236: Add missing inc in rpz findClientPolicy loop."

Merge pull request #8238 from omoerbeek/backport-8236-to-rec-4.2.x

rec: backport 8236: Add missing inc in rpz findClientPolicy loop.

Add missing inc in rpz findClientPolicy loop.

(cherry picked from commit ae001b0e368e3a80f59d1c8ba64df15a42be00ef)

Move to newer alpine for docker buildbot, needed for proper
boost context detection

(cherry picked from commit b7c38b3b87c865c30ecca468d7d6dea30e1c15a7)

Merge pull request #8230 from omoerbeek/backport-8227-to-rec-4.2.x

rec: backport Fix inverse handler registration logic for SNMP.

Fix inverse handler registration logic for SNMP.

(cherry picked from commit 3fc5b5122485c8a1aa34dd27fe0135950a26a90a)

Merge pull request #8187 from omoerbeek/backport-8001-to-rec-4.2.x

Backport 8001 to rec 4.2.x

versionadded: 4.2.1

docs: fix version numbers

(cherry picked from commit cee8bfbdfd4fd4f97b436a4660424d0d3c2f111c)

lua: DNSQuestion, actually export deviceName and deviceId attributes

(cherry picked from commit e92fb64f5a6032e85800088c4e3c6df8de82f8f4)

recursor: add new deviceName field to the dnsmessage protobuf export

(cherry picked from commit 0a6a45c8545f86a668003f453b38177308f5aff5)

Merge pull request #8121 from zeha/rec-4.2-tests

Recursor 4.2: Backport #8008 #8047 test improvements

Merge pull request #8086 from omoerbeek/backport-8075-to-rec-4.2.x

backport to rec 4.2.x: builder: add raspbian-buster target

Backport #7951

Another time sensistive test fixed with a fixedNow construct.
Fix borrowed from #8008.
But this test also does addRRSIG() calls, these need adaptation as well.

rec: Don't go Bogus if the auth zone delegation test takes too long

builder: add raspbian-buster target

(cherry picked from commit cc1a371a2422cac77a90d6a0debbcfe6cadea84a)

Merge pull request #8074 from omoerbeek/backport-8067-to-rec-4.2.x

Backport 8067 to rec 4.2.x: Make sure we always compile with BOOST_CB_ENABLE_DEBUG set to 0

BOOST_CB_ENABLE_DEBUG is overridden before 1.62, set BOOST_CB_DISABLE_DEBUG instead

(cherry picked from commit 7fa225c362a6e009775a1978d54adfe383b29ab8)

Make sure we always compile with BOOST_CB_ENABLE_DEBUG set to 0

(cherry picked from commit 9f6a31fffe1f4bd77fd402f997a5f37a58f72fc5)

Merge pull request #8052 from omoerbeek/backport-8028-to-rec-4.2.x

Backport 8028 to rec 4.2.x: limit compression pointers to 14 bits

centralise constant

(cherry picked from commit 43f038d7d1931bf499d8b03435b99feecea4d170)

actually honour the startRecord compress parameter

(cherry picked from commit 02e7763f2c7f4d2c9d7bab3a3319df1724065ef2)

limit compression pointers to 14 bits

(cherry picked from commit d26fa3154031ee9ece21f1d1b47faa5d177e34ef)

Merge pull request #8017 from Habbie/rec-4.2.x-ci-onlyrec

travis, circleci: only do recursor testing

travis, circleci: only do recursor testing

Merge pull request #8009 from omoerbeek/backport-7997-to-rec-4.2.x

rec backport to 4.2.x: Fix the export of only outgoing queries or incoming responses

Merge pull request #8005 from omoerbeek/backport-7996-to-rec-4.2.x

rec backport to 4.2.x: Clear CMSG_SPACE(sizeof(data)) in cmsghdr to appease valgrind.

rec: Add tests for outgoing queries/ incoming responses export

(cherry picked from commit 87cab7c0709566a028aa80c86a7d9b409a516b1c)

rec: Fix the export of only outgoing queries or incoming responses

(cherry picked from commit 5d6c7a46ec22bbacc2a0dc5e8c74beaa84cfe224)

Clear CMSG_SPACE(sizeof(data)) in cmsghdr to appease valgrind.

(cherry picked from commit 20b22895546a3e7fb7760940599dfb1e29a00777)

Merge pull request #7955 from omoerbeek/backport-partial-7864-to-rec-4.2.x

rec: backport to 4.2.x: Handle short reads from our random device

Merge pull request #7954 from omoerbeek/backport-7886-to-rec-4.2.x

rec backport  to rec 4.2.x: SuffixMatchRee fixes