Merge pull request #9601 from omoerbeek/rec-backport-to-4.1.x-sec-2020-07

rec: Backport of CVE-2020-25829 (any-cache-update) to 4.1.x

Backport of CVE-2020-25829 (any-cache-update) to 4.1.x

Merge pull request #9283 from omoerbeek/rec-acl-backport-to-4.1.x

rec: Backport of acl check to 4.1.x

Backport of acl check to 4.1.x

Merge pull request #9129 from rgacogne/rec41-fix-gethostname-no-hostnamemax

rec-4.1.x: Fix compilation on systems that do not define HOST_NAME_MAX

Fix build with gcc-10

From an e-mail from Jeff Law <law@redhat.com>:

Subject: Minor problem in pdns, dnsdist and pdns-recursor packages in Fedora

[ All three packages have embedded copies of the same problematic code
and the same patch fixes all three. ]

Red Hat's compiler team continues to try and be proactive in identifying
issues that will arise as a result of the introduction of a new GCC
release into Fedora each spring.

You're being contacted because a package you maintain in Fedora is going
to fail to build with gcc-10 in the spring.  Yes, I know that's a few
months away, but it's far easier to fix this stuff proactively now than
wait.

Fixing it now also means that your package will continue to be built
with testing versions of gcc-10 as we proceed through the development
process thus allowing additional issues to be caught early.

Your particular package will fail due to an uninstantiated template for
AsyncLoader<Request>.  These kinds of problems are relatively common due to
changes in the tuning of the inliner for gcc-10:

> BUILDSTDERR: /usr/bin/ld: webserver.o: in function `WebServer::serveConnection(std::shared_ptr<Socket>) const':
> BUILDSTDERR: /builddir/build/BUILD/pdns-4.2.1/pdns/webserver.cc:373: undefined reference to `YaHTTP::AsyncLoader<YaHTTP::Request>::feed(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'
> BUILDSTDERR: collect2: error: ld returned 1 exit status
> BUILDSTDERR: make[3]: *** [Makefile:2751: ixfrdist] Error 1
>

The attached patch arranges for an instance to be instantiated when
compiling reqresp.cpp and is sufficient to fix this problem.  The
choice of reqresp.cpp fairly arbitrary IIRC.

Ideally you'll with upstream to get this fixed, but a Fedora patch is
clearly OK as well.   I'll install the attached fix into Fedora in a
week or so if I haven't heard from you.

Jeff

(cherry picked from commit ffb885e937c27bb1c62dee8f18c58ae0d5d52d39)

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

(cherry picked from commit 4c990a1b82e091d887d873c7da5254de84aabebb)
(cherry picked from commit 5c21b47fbc35ddcb8d939eb8541c6c3bad1080a8)
(cherry picked from commit d53b465c08ba7c9e9769c52424d9b1c610d5e1dc)

Merge pull request #9147 from rgacogne/rec41-travis-unbreak-trusty-spellcheck

rec-4.1.x: Unbreak travis and remove spell checking

Suppress PR based spell check

(cherry picked from commit 16f3f8060ece690049dbf8059cf2f5a2bcc21bc2)

travis: install pdns package from direct download

(cherry picked from commit b5b83152b5a56b8095ab0d713a31c3ab5d1ec25b)

Merge pull request #9117 from pieterlexis/rec-4.1.x-may-2020

Recursor 4.1.x fixes May 2020

Don't read potentially uninitalized memory if gethostname() failed

If the buffer is smaller than `HOST_NAME_MAX` (64 on Linux but up to
255 bytes in POSIX, which FreeBSD, MacOS etc honor) gethostname()
might return -1 without null-terminating the buffer, causing an
out-of-bounds read.
As we look for the first '.' using `strchr()`, replacing it with a
null byte, we also have a one-byte out-of-bounds write which might
result in a crash or, albeit very unlikely, arbitrary code execution.

(cherry picked from commit aac6348d56f6f3fdba9dd2455ef06081da507c14)
(cherry picked from commit be93bc7da4caddc5a6c84fa7b42e82592e9add49)

rec: Fix DNSSEC validation of completely empty NXDomain answers

If the answer has no SOA and no NSEC inside a DNSSEC-secure zone,
we should go Bogus.

(cherry picked from commit 4d0c0a1002645955d22b5aaaca5a122fa21dff95)

rec: Don't crash on a duplicate RPZ entry received over XFR

rec: backport to 4.1.x: Limit the number of queries sent out to get NS addresses per query

Merge pull request #8868 from omoerbeek/backport-8864

rec: backport 8864 to rec 4.1.x: Only log qname parsing errors when 'log-common-errors' is set

rec: Only log qname parsing errors when 'log-common-errors' is set

(cherry picked from commit 4b4566e8d28ff3b18152213e8c8666aa643f8eb9)

Merge pull request #8809 from Habbie/rel-rec-4.1.x-pydeps

rec-4.1.x: limit python deps to stuff that still works on py2

limit python deps to stuff that still works on py2

Merge pull request #8753 from omoerbeek/backport-8740-to-rec-4.1.x

rec: backport 8740 to rec 4.1.x: Update boost.m4

Update boost.m4

This detects boost::context on boost version 1.61 through 1.65 correctly

(cherry picked from commit c54133a4abccd7228b6898af5cb7b684c6225e97)

Merge pull request #8554 from omoerbeek/backport-8525-to-rec-4.1.x

rec: Backport 8525 to rec 4.1.x: Purge map of failed auths periodically by keeping a last changed timestamp.

Fix merge errors

Avoid looking up an entry twice by using a ref.

(cherry picked from commit 3eba27418a7102a82777b74bd199943b67a93a6e)

ednsmap might be cleared while yielding; so reassign pointer.

Switch away from a ref to a pointer because of above and use modern
init for EDNSStatus.

(cherry picked from commit 90e8ea71abacb8879482fe27a5521d1f4d0ef76d)

If modeSetAt is zero, we never updated the entry and it can go.

(cherry picked from commit b5788c3649bee0d5c86c6900ee3dd2530a494bd1)

Also purge t_sstorage.ednsstatus and include edns size in the periodic report.

(cherry picked from commit bbc7101c05672d91f5131fa5baa884a750e139a4)

man page bits

(cherry picked from commit c71d64351b4918e92004691ea534cf8bcbcccbdd)

Purge map of failed auths periodically by keeping a last changed timestamp.

SyncRes thread local storage includes a map of failed auths which was
only cleaned if a specific IP was contacted again and that contact
succeeded. Persistent failing auths or auths that are never tried
again remained in the map.

While here add code to dump the failed servers map. Might (partially?)
solve #7771.

(cherry picked from commit 60e5208a9a20d4cd2153d33b8cd500e9b241373c)

Merge pull request #8544 from omoerbeek/backport-8470-to-rec-4.1.x

rec: Backport 8470 to rec 4.1.x: prime NS records of root-servers.net parent (.net)

Merge pull request #8543 from omoerbeek/backport-8340-to-rec-4.1.x

rec: Backport 8340 to rec 4.1.x: issue with "zz" abbreviation for IPv6 RPZ triggers

Merge pull request #8542 from omoerbeek/backport-7068-to-rec-4.1.x

rec: backport 7068 to 4.1.x: Do the edns dumping harder.

Avoid mthread race when using the set of rootNSZones.

It is better to make sure . entries are not added to the set.

Do not wipe . NS; this can happen with custom hint files that are
used by regression tests.

Wipe entry form cache before getting a new one to make sure we
actually get fresh records.

(cherry picked from commit ed1bbac786281f515b4ceaf22afdf6c62bf614b4)

Add a comment explaining things.

(cherry picked from commit c16c8fe53cac7473b16c81ca56410c14ad3bf324)

Also call primeRootNSZones() from syncres (after primeHints())

(cherry picked from commit 159b1242bab07c12620b9c40d3726b752ba0e32e)

prime tld of root name server names

(cherry picked from commit 1b4e0ae09d2d81b70524746293f3e4f16d722ad4)

Fix #8338: Issue with "zz" abbreviation for IPv6 RPZ triggers

While there, add unittest for translating rpz names into netmasks

(cherry picked from commit 301148e6d77e7cf8aed3b1b174bf6dbbeae7dc67)

Do the edns dumping harder.

(cherry picked from commit addde5c1785f040f803bc5154433b0574a197216)

Merge pull request #8123 from pieterlexis/backport-7951-to-rec-41x

Backport #7951 to recursor 4.1.x

Backport #7951

Merge pull request #7912 from omoerbeek/backport-7589

lua-recursor4: Add missing getregisteredname Lua function

lua-recursor4: Add missing getregisteredname Lua function

It was drooped in 4b9a4e966257eb08d4803633f5726b5a144a8e99 and
forgotten in a3e7b73528a96a3642adb42dc1e729ea2e8765f4

(cherry picked from commit c2d0a26fecf13a40fa5a74a4cc13d9faef8b1669)

Merge pull request #7906 from omoerbeek/backport-7298

rec backport to 4.1.x: Add counters for incoming AD and CD queries

Mention correct "version added" for the two new counters.

rec: Add counters for incoming AD and CD queries

(cherry picked from commit 88c33dca92f68d3c4a0a9dc8cb3c9838f034b94b)

Merge pull request #7816 from rgacogne/rec41-backport-7714

rec-4.1.x: Backport of 7714: Fix DNSSEC validation of wildcards expanded onto themselves

rec: Fix DNSSEC validation of wildcards expanded onto themselves

(cherry picked from commit 78cdf5200924d327911345e1053e6e7de26dc34b)

rec: Add a 'query for a wildcard-like expanded from a wildcard' test

(cherry picked from commit 3f675ceb96804190951f2bfda1e67b9dfdaab10e)

rec: Add a DNSSEC validation unit test for non-expanded wildcards

(cherry picked from commit eb7a2b0bb57a99eabaad99f1814505b766060e6e)

Merge pull request #7675 from omoerbeek/disable-smap-switch

Fix versionadded line

Fix versionadded line

Merge pull request #7673 from omoerbeek/disable-smap-switch

Disable smap switch

Add versionadded

Document disable-real-memory-usage.

Add a switch to disable the expense smap based mem stat.

Merge pull request #7651 from omoerbeek/backport-7631

Backport Rec ecs cache limit with tt (7631)

Move the setQuerySource() method to a wrapper in the syncres test code.

Fix do not cache condition (merge error spotted by rcagogne)

Make unit test work.

Resolve merge errors

Reformulate condition and comment to make it more clear.

(cherry picked from commit 73d9bf3ad13de7031a71700d00fb4efbab8ca938)

Only apply "do not cache" if both limits are set and satisfied.  Doc tweaks.

(cherry picked from commit 42f418044c137ae2835f7f6550da093cb8b6ce7c)

New approach. I spelled out the logic to make it more clear.
Points to keep in mind: > vs >=
What do we do if s_ecscachelimitttl is not set? I chose to let the scope determine
cacheability.

(cherry picked from commit e7861cc408a4984d7c3e2a430825beb22ecf2a6d)

Add tests for ecs-cache-limit-ttl

(cherry picked from commit 2cbe6a45ec0699f5ced3eb45945ce77b3a7fa343)

Initial code for ecs-cache-limit-ttl.

(cherry picked from commit ed9019c97a4f81c42c2e45ab4353022540afdf08)

rec: Set ecs-ipv4-cache-bits and ecs-ipv6-cache-bits in the tests

(cherry picked from commit 0cd27a313133139947e6e1b97fe7f1c0164ad40f)
(cherry picked from commit 30974eccedbe5fc90a24762f17b588750926ca2b)

rec: Document 'ecs-ipv4-cache-bits' and 'ecs-ipv6-cache-bits'

(cherry picked from commit 4d8c05df7a8fd6045061325693dcf8b17dbd364d)
(cherry picked from commit 216dc60aab0a7ea1a2385d85706bd41721e6ed16)

rec: Add unit tests for the ECS cache limit feature

(cherry picked from commit a87929c0fdb1675661a9f2fbea46e79530e4157e)

rec: Move the ECS cache limit check to the SyncRes

(cherry picked from commit bdceeb7e8c0e25dfe86f0300fb83d1cdaee3422c)

implement a configurable ECS cache limit, defaulting to /24 and /56 of IPv6. So a /25 response will not get cached.

(cherry picked from commit 1dab554571edc88ae625c3997294dbcfb1c3507e)
(cherry picked from commit fd8898fbb51d8068127ff2fffd6a5f2e9f60be33)

Merge pull request #7634 from rgacogne/rec41-bounded-load-balancing

rec-4.1.x: Use a bounded load-balancing algo to distribute queries

Merge pull request #7647 from ahupowerdns/per-thread-stats

This provides CPU usage statistics per thread (worker & distributor).

add comments

This provides CPU usage statistics per thread (worker & distributor).

rec: Clarify that the server load should be >= to the pondered avg

rec: Keep track of the number of MTasks in a dedicated variable

rec: Make sure that distribution-load-factor is >= 1.0 if set

(cherry picked from commit 078be17f3c150abed2ae87dfe771ef479f3137ef)

rec: Add a 'rebalanced-queries' metric

(cherry picked from commit 596bf48219cb82379bf872e746dd7f626b582342)

rec: Use a bounded load-balancing algo to distribute queries

(cherry picked from commit 144040bef0b1f65abfb4634f65b1445a84393a1b)

Merge pull request #7495 from rgacogne/rec41-ixfr-empty-axfr

rec-4.1.x: Correctly interpret an empty AXFR response to an IXFR query

Correctly interpret an empty AXFR response to an IXFR query

Merge pull request #7434 from rgacogne/rec41-protobuf-responses-only

rec-4.1.x: Add an option to export only responses over protobuf

rec: Add an option to export only responses over protobuf

Merge pull request #7430 from rgacogne/rec41-redo-remotelogger

rec-4.1.x: Reduce systemcall usage in protobuf logging

rec-4.1.x: Backport some protobuf regression tests

Reduce systemcall usage in protobuf logging

Since Spectre/Meltdown, system calls have become more expensive.  In
addition, relevant versions of glibc turn out to implement pthread_cond_wait
and pthread_cond_signal in such a way that they use multiple system calls always.
There is an optimization in glibc to improve this but it is disabled.

This new setup changes our protobuf logging so it amortizes system calls so we perform
far less than one call per message.

Note that our previous RemoteLogger was configured in terms of how many
*messages* it would buffer. Our new code is configured in terms of how many
*bytes*. I have multiplied the configured numbers by 100 elsewhere (recursor
config, dnsdist config) to sort of maintain parity.

In addition, the old RemoteLogger would buffer messages while there was no
connection available. We no longer do this.

Finally new, every 'reconnectTimeout' seconds we will flush our buffers
opportunistically to not keep people waiting.

Merge pull request #7415 from zeha/backport-7327

Backport #7327: rec: Fix a possible timing issue w/ RRSIGs in the SyncRes unit tests

Backport #7327: rec: Fix a possible timing issue w/ RRSIGs in the SyncRes unit tests

On Debians mipsel builders this has caused test failures a number of
times in a row, so this is not just a possible issue.

Merge pull request #7403 from rgacogne/rec41-dh-no-protobuf

rec-4.1.x: Fix compilation in handleRunningTCPQuestion without protobuf support

rec: Fix compilation in handleRunningTCPQuestion without protobuf support

Merge pull request #7397 from rgacogne/rec41-sec-20190121

rec-4.1.x: Load the Lua script in the distributor thread, check signature for AA=0 answers

Merge pull request #7377 from rgacogne/rec41-retry-on-full-pipe

rec-4.1.x: Try another worker before failing if the first pipe was full

rec: Try another worker before failing if the first pipe was full

rec: Always check signature for records in ANSWER, even with AA=0

Except for a small exception with chains of CNAMEs.

rec: Add missing cookiesoption.py for the python regression tests

rec: Call the ipfilter hook if any over TCP as well

rec: Test our Lua hooks