Merge pull request #9944 from Habbie/backport-9831-to-rec-4.2.x

rec-4.2.x el8: PowerTools is now powertools

rec-4.2.x el8: PowerTools is now powertools

backport of #9831

Merge pull request #9723 from Habbie/rec-4.2.x-circleci-pager

rec-4.2.x: avoid paging in git

rec-4.2.x: avoid paging in git

Merge pull request #9610 from omoerbeek/rec-4.2.x-fix-remaining-placeholders

rec: followup to backport of 9070 to 4.2.x: Previous placeholder fix was incomplete.

Previous placeholders fix was incomplete.

Fix remaining ones.

Merge pull request #9603 from omoerbeek/rec-backport-to-4.2.x-sec-2020-07

rec: Backport of CVE-2020-25829 (any-cache-update) to 4.2.x

Backport of CVE-2020-25829 (any-cache-update) to 4.2.x

Merge pull request #9508 from omoerbeek/rec-backport-9497-to-rec-4.2.x

Rec: minimal backport of 9497 to rec 4.2.x: raise an exception on invalid content in unknown records

Minimal backport of #9497 to rec-4.2.x

Merge pull request #9502 from omoerbeek/rec-boost-bind-to-std-bind-4.2

rec: backport to rec-4.2.x: Boost 1.73 moved boost::bind placeholders to the placeholders namespace

Minimal backport of #9070

Merge pull request #9456 from omoerbeek/backport-9454-to-rec-4.2.x

rec: backport to 4.2.x: Parts is reused, so clear the names it might contain.

Parts is reused, so clear the names it might contain.

(cherry picked from commit bc3d2b7386e058c39872a3aa74101283b6f1af45)

Merge pull request #9368 from omoerbeek/backport-9343-to-rec-4.2.x

rec: Backport 9343 to rec 4.2.x: Resize hostname to final size in getCarbonHostname()

test-misc_hh: Add test for getCarbonHostname

(cherry picked from commit f19c0ed44619382b41119c8fb3136a3eb11790b8)

misc.cc: Resize hostname to final size in getCarbonHostname()

In 5c21b47fbc35ddcb8d939eb8541c6c3bad1080a8 we change how
hostname is allocated. We allocate getMaxHostNameSize for string,
then give the raw buffer for gethostname function, but forget to
resize the string into actual result length, causing the carbon
output to include trailing NUL bytes after hostname.

(cherry picked from commit 57f8ac68b4fa7063fd2cac4d5b77045e0255c770)

Merge pull request #9334 from omoerbeek/backport-9309-to-rec-4.2.x

rec: Backport 9309 to rec 4.2.x: Validate cached DNSKEYs against the DSs, not the RRSIGs only

Merge pull request #9333 from omoerbeek/backport-9297-to-rec-4.2.x

rec: Backport 9297 to rec 4.2.x: Ignore cache-only for DNSKEYs/DS retrieval

Merge pull request #9332 from omoerbeek/backport-9292-to-rec-4.2.x

rec: Backport 9292 to rec 4.2.x: A ServFail while retrieving DS/DNSKEY records is just that

Merge pull request #9331 from omoerbeek/backport-9188-to-rec-4.2.x

rec: Backport 9188 to rec 4.2.x: Refuse DS records received from child zones

rec: Validate cached DNSKEYs against the DSs, not the RRSIGs only

DNSKEYs might be cached in a non-validated state ("Indeterminate")
when the DNSSEC mode is set to "Process" and the initial query did
not ask for validation.
We would then validate the DNSKEY records against the RRSIGs, like
for regular records, but not against the DSs.

(cherry picked from commit 453f37736a4d372e16755a903f5b5d5ac52b0c17)

Fix merge

rec: Ignore cache-only for DSs retrieval

When the DSs are needed for validation, the initial RD flag should
not prevent us from going to the network.

(cherry picked from commit 68536f5ba1b37b1ab6008ab8842a4eeb676cc3e4)

rec: Ignore cache-only for DNSKEYs retrieval

When the DNSKEYs are needed for validation, the initial RD flag
should not prevent us from going to the network.

(cherry picked from commit 38a7e82df8eaa8bee8fe9b444e81e1d71710d4de)

DIGEST_SHA256 is named SHA256 in 4.2.x

rec: A ServFail while retrieving DS/DNSKEY records is just that

Before that commit, failing to get the DS or DNSKEY records needed
during validation because of a network issue would trigger a Bogus
DNSSEC validation result because validation could not be performed,
but that should just be a Server Failure instead.
This is especially an issue because the Bogus result would get
inserted into the cache and could stay there for as long as
'max-cache-bogus-ttl' seconds.

(cherry picked from commit e122af1cf073cab4bd0b1b346b6e166b49870d70)

Fix merge

rec: Add a 'skip DS from child zone' unit test

(cherry picked from commit 2b4f326914460e3c2a8cb1249fdd535090a355f7)

rec: Refuse DS records received from child zones

(cherry picked from commit 3b8b3a7760b655d078aed24c42b0c48e1115eb55)

Merge pull request #9306 from omoerbeek/backport-9268-to-rec-4.2.x

rec: backport of 9268 to 4.2.x: Better exception handling in houseKeeping / handlePolicyHit

Fix indentation

rec: backport of 9268 to 4.3.x: Better exception handling in houseKeeping / handlePolicyHit

Merge pull request #9284 from omoerbeek/rec-acl-backport-to-4.2.x

rec: acl backport to 4.2.x

Backport of acl fix to 4.2.x

Merge pull request #9261 from omoerbeek/backport-9251-to-rec-4.2.x

rec: backport 9251 to re 4.2.x: Copy the negative cache entry before validating it

rec: Copy the negative cache entry before validating it

Otherwise, in the unlikely case that:
- we need to go to the network in order to validate, for example to
  get or a DNSKEY ;
- the negative cache cleaning is run at that exact moment ;
- and the entry we have a pointer to gets wiped during that cleanup

we might trigger a heap-based use-after-free (read), possibly leading
to a crash if the memory has been reused already.

Merge pull request #9146 from rgacogne/rec42-travis-unbreak-trusty-spellcheck

rec-4.2.x: Unbreak travis and remove spell checking

Suppress PR based spell check

(cherry picked from commit 16f3f8060ece690049dbf8059cf2f5a2bcc21bc2)

travis: install pdns package from direct download

(cherry picked from commit b5b83152b5a56b8095ab0d713a31c3ab5d1ec25b)

Merge pull request #9133 from rgacogne/rec42-fix-gethostname-no-hostnamemax

rec-4.2.x: Fix compilation on systems that do not define HOST_NAME_MAX

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

(cherry picked from commit 4c990a1b82e091d887d873c7da5254de84aabebb)
(cherry picked from commit 5c21b47fbc35ddcb8d939eb8541c6c3bad1080a8)

Merge pull request #9123 from rgacogne/rec42-gcc10

rec-4.2.x: Fix build with gcc-10

Fix build with gcc-10

From an e-mail from Jeff Law <law@redhat.com>:

Subject: Minor problem in pdns, dnsdist and pdns-recursor packages in Fedora

[ All three packages have embedded copies of the same problematic code
and the same patch fixes all three. ]

Red Hat's compiler team continues to try and be proactive in identifying
issues that will arise as a result of the introduction of a new GCC
release into Fedora each spring.

You're being contacted because a package you maintain in Fedora is going
to fail to build with gcc-10 in the spring.  Yes, I know that's a few
months away, but it's far easier to fix this stuff proactively now than
wait.

Fixing it now also means that your package will continue to be built
with testing versions of gcc-10 as we proceed through the development
process thus allowing additional issues to be caught early.

Your particular package will fail due to an uninstantiated template for
AsyncLoader<Request>.  These kinds of problems are relatively common due to
changes in the tuning of the inliner for gcc-10:

> BUILDSTDERR: /usr/bin/ld: webserver.o: in function `WebServer::serveConnection(std::shared_ptr<Socket>) const':
> BUILDSTDERR: /builddir/build/BUILD/pdns-4.2.1/pdns/webserver.cc:373: undefined reference to `YaHTTP::AsyncLoader<YaHTTP::Request>::feed(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'
> BUILDSTDERR: collect2: error: ld returned 1 exit status
> BUILDSTDERR: make[3]: *** [Makefile:2751: ixfrdist] Error 1
>

The attached patch arranges for an instance to be instantiated when
compiling reqresp.cpp and is sufficient to fix this problem.  The
choice of reqresp.cpp fairly arbitrary IIRC.

Ideally you'll with upstream to get this fixed, but a Fedora patch is
clearly OK as well.   I'll install the attached fix into Fedora in a
week or so if I haven't heard from you.

Jeff

(cherry picked from commit ffb885e937c27bb1c62dee8f18c58ae0d5d52d39)

Merge pull request #9116 from pieterlexis/rec-4.2.x-may-2020

Recursor 4.2.x fixes May 2020

Don't read potentially uninitalized memory if gethostname() failed

If the buffer is smaller than `HOST_NAME_MAX` (64 on Linux but up to
255 bytes in POSIX, which FreeBSD, MacOS etc honor) gethostname()
might return -1 without null-terminating the buffer, causing an
out-of-bounds read.
As we look for the first '.' using `strchr()`, replacing it with a
null byte, we also have a one-byte out-of-bounds write which might
result in a crash or, albeit very unlikely, arbitrary code execution.

(cherry picked from commit aac6348d56f6f3fdba9dd2455ef06081da507c14)
(cherry picked from commit be93bc7da4caddc5a6c84fa7b42e82592e9add49)

rec: Fix DNSSEC validation of completely empty NXDomain answers

If the answer has no SOA and no NSEC inside a DNSSEC-secure zone,
we should go Bogus.

(cherry picked from commit 1c0ee0d118a886857629aa733c23311057f315f9)

Backport to rex-4.2.x: Don't crash on a duplicate RPZ entry received over XFR

rec: backport Limit the number of queries sent out to get NS addresses per query to 4.2.x

Merge pull request #9081 from omoerbeek/backport-8972-to-rec-4.2.x

rec: backport to rec 4.2.x: builder: add ubuntu focal target

builder: add ubuntu focal target

(cherry picked from commit b4f4b1ab4ba666fe16f0201b38778fe66dc8e7ae)

Merge pull request #8988 from omoerbeek/rec-backport-gen-version-to-4.2.x

Backport 7822 to rec-4.2.x: Update gen-version to use latest tag for version nunmbers

Update builder

Backport 7822: Update gen-version to use latest tag for version nunmbers

Merge pull request #8964 from omoerbeek/backport-8876-to-rec-4.2.x

rec: backport 8876 to rec-4.2.x: Update boost.m4

Update boost.m4

Closes #8875

(cherry picked from commit 2bcb6ea0ddc99548d3d7d6d317c5d64d55aac6cc)

Merge pull request #8869 from omoerbeek/backport-8864-to-rec-4.2.x

rec: backport 8864 to rec 4.2.x: Only log qname parsing errors when 'log-common-errors' is set

rec: Only log qname parsing errors when 'log-common-errors' is set

(cherry picked from commit 4b4566e8d28ff3b18152213e8c8666aa643f8eb9)

Merge pull request #8832 from omoerbeek/backport-8826-to-rec-4.2.x

rec: Backport 8825 to rec 4.2.x: Refuse NSEC records with a bitmap length > 32

Refuse NSEC records with a bitmap length > 32

(cherry picked from commit 3d51568b456205c9bd60ceeedb4b43af4a33f019)

Merge pull request #8802 from omoerbeek/backport-8559-to-rec-4.2.x

rec: backport 8559 to rec 4.2.x: Avoid startup race by setting the state of a tread before starting it.

Avoid startup race by setting the state of a tread before starting it.

(cherry picked from commit ef31b0902fa09fd9a03276b56a51d88d63e68c6f)

Merge pull request #8752 from omoerbeek/backport-8740-to-rec-4.2.x

rec: backport 8740 to rec 4.2.x: Update boost.m4

Update boost.m4

This detects boost::context on boost version 1.61 through 1.65 correctly

(cherry picked from commit c54133a4abccd7228b6898af5cb7b684c6225e97)

Merge pull request #8696 from omoerbeek/backport-7928-to-rec-4.2.x

rec: Backport 7928 to rec 4.2.x: Better detection of Bogus zone cuts for DNSSEC validation

Merge pull request #8674 from omoerbeek/backport-8639-to-rec-4.2.x

rec: backport 8639 to 4.2.x: debian postinst / do not fail on user creation if it already exists

Merge pull request #8686 from omoerbeek/backport-8684-to-rec-4.2.x

rec: backport 8684 to 4.2.x: parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

rec: An Opt-Out NSEC3 RR only proves that there is no secure delegation

(cherry picked from commit 18c8faae6c67f734583c5c881d0d083d3253b49e)

rec: Add comments to clarify the no DS case when detecting zone cuts

(cherry picked from commit 46df9251dfbd1d45ee26e410011713f2a550c721)

rec: Better detection of Bogus zone cuts for DNSSEC validation

(cherry picked from commit dd359a9fc01c318ef2fc1753d3e8170be5977c05)

parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

(cherry picked from commit 5285831402f3f3a209c16cb3bd743eea640cf894)

rec: debian postinst / do not fail on user creation if it already exists

(cherry picked from commit fddad2718fb994d4fd016c03e1e05ef6c67aae14)

Merge pull request #8552 from omoerbeek/backport-8525-to-rec-4.2.x

rec: Backport 8525 to rec 4.2.x: Purge map of failed auths periodically by keeping a last changed timestamp.

Avoid looking up an entry twice by using a ref.

(cherry picked from commit 3eba27418a7102a82777b74bd199943b67a93a6e)

ednsmap might be cleared while yielding; so reassign pointer.

Switch away from a ref to a pointer because of above and use modern
init for EDNSStatus.

(cherry picked from commit 90e8ea71abacb8879482fe27a5521d1f4d0ef76d)

If modeSetAt is zero, we never updated the entry and it can go.

(cherry picked from commit b5788c3649bee0d5c86c6900ee3dd2530a494bd1)

Also purge t_sstorage.ednsstatus and include edns size in the periodic report.

(cherry picked from commit bbc7101c05672d91f5131fa5baa884a750e139a4)

man page bits

(cherry picked from commit c71d64351b4918e92004691ea534cf8bcbcccbdd)

Purge map of failed auths periodically by keeping a last changed timestamp.

SyncRes thread local storage includes a map of failed auths which was
only cleaned if a specific IP was contacted again and that contact
succeeded. Persistent failing auths or auths that are never tried
again remained in the map.

While here add code to dump the failed servers map. Might (partially?)
solve #7771.

(cherry picked from commit 60e5208a9a20d4cd2153d33b8cd500e9b241373c)

Merge pull request #8528 from omoerbeek/backport-8470-to-rec-4.2.x

rec: Backport 8470 to rec 4.2.x:  prime NS records of root-servers.net parent (.net)

Avoid mthread race when using the set of rootNSZones.

It is better to make sure . entries are not added to the set.

Do not wipe . NS; this can happen with custom hint files that are
used by regression tests.

Wipe entry form cache before getting a new one to make sure we
actually get fresh records.

(cherry picked from commit ed1bbac786281f515b4ceaf22afdf6c62bf614b4)

Add a comment explaining things.

(cherry picked from commit c16c8fe53cac7473b16c81ca56410c14ad3bf324)

Also call primeRootNSZones() from syncres (after primeHints())

(cherry picked from commit 159b1242bab07c12620b9c40d3726b752ba0e32e)

prime tld of root name server names

(cherry picked from commit 1b4e0ae09d2d81b70524746293f3e4f16d722ad4)

Merge pull request #8427 from pieterlexis/backport-8400-to-rec-4.2.x

Rec 4.2: Add CentOS 8 as builder target

Merge pull request #8493 from omoerbeek/backport-8340-to-rec-4.2.x

Rec: backport to 4.2.x: Fix #8338: Issue with "zz" abbreviation for IPv6 RPZ triggers

Merge pull request #8495 from omoerbeek/backport-8482-to-rec-4.2.x

rec: backport to 4.2.x: Add generated dnstap.pb.{cc,h} to the 'clean' target

rec: Add generated dnstap.pb.{cc,h} to the 'clean' target

(cherry picked from commit 74bdddef039219ef389eaae9731ae0f33b74b142)

Fix #8338: Issue with "zz" abbreviation for IPv6 RPZ triggers

While there, add unittest for translating rpz names into netmasks

(cherry picked from commit 301148e6d77e7cf8aed3b1b174bf6dbbeae7dc67)

Merge pull request #8452 from omoerbeek/backport-8451-to-rec-4.2.x

rec: Backport 8451 to rec 4.2.x: Basic validation of $GENERATE parameters

Basic validation of $GENERATE parameters

(cherry picked from commit 775a673a1798d01e5e259a00cff7a757f5350f40)

Add CentOS 8 as builder target

(cherry picked from commit 19293f266cf7bb719bd6975b3e06994f49e0e583)

Merge pull request #8337 from omoerbeek/backport-8332-to-rec-4.2.x

backport to rec -4.2.x: Remove version number in man page footer

Remove version number

(cherry picked from commit 760d679c2a3566dac8001115db95762344cdcbd5)

Merge pull request #8124 from pieterlexis/backport-7951-to-rec-4.2.x

Backport #7951 to rec 4.2.x

Merge pull request #8244 from PowerDNS/revert-8238-backport-8236-to-rec-4.2.x

Revert "rec: backport 8236: Add missing inc in rpz findClientPolicy loop."

Revert "rec: backport 8236: Add missing inc in rpz findClientPolicy loop."