auth 22 sept 2020: advisories, changelogs, docs

Merge pull request #9490 from omoerbeek/rec-coverity-check-fd

rec: Check return value of dup(2) as noted by coverity.

Merge pull request #9494 from omoerbeek/rec-incomplete-ifdef

rec: incomplete ifdef

Check return value of dup(2) as noted by coverity.

Merge pull request #9497 from Habbie/unknown-record-invalid-hex

auth: raise an exception on invalid content in unknown records

Merge pull request #9493 from omoerbeek/rec-log-rec_control

Log the line received fomr rec_control

Merge pull request #9492 from omoerbeek/rec-detach-snmp-thread

rec: Detach snmp thread to avoid trouble when trying to quit nicely.

Merge pull request #9491 from omoerbeek/rec-fix-wipe-cache-typed

rec: Fix rec_control wipe-cache-typed

Incomplete ifdef

Detach snmp thread to avoid trouble when trying to quit nicely.

This avoids a case where the thread object and the RecursorSNMPAgent
object get destroyed in the wrong order.

Log the line received fomr rec_control

This can be handy to see what commands were issued to the recursor
when reviewing logs.

Merge pull request #9481 from omoerbeek/rec-prep-4.4.0-rc1

rec: prep for rec-4.4.0-rc1

Fix rec_control wipe-cache-typed (likely a merge error)

Merge pull request #9478 from mind04/pdns-fixme400

Auth: remove a '// HACK FIXME400' and fix the bugs it was hiding

Merge pull request #9487 from PowerDNS/pdnsutil-ipdecrypt-typo

Update pdnsutil.cc ipencrypt/ipdecrypt typo

Update pdnsutil.cc

Merge pull request #9486 from phonedph1/patch-25

Update dnsdist-console.cc

Update dnsdist-console.cc

Merge pull request #9482 from omoerbeek/rec-docs-rst-warnings

rec: Fix a few .rst warnings

Merge pull request #9479 from rgacogne/fix-views

Fix our string_view usage on older distributions

Merge pull request #9475 from omoerbeek/rec-shared-negcache

Rec: shared and sharded negcache

Merge pull request #9477 from pieterlexis/dnstap-needs-protobuf

dnsdist, rec: dnstap requires protobuf

Prep for rec-4.4.0-rc1

Fix a few .rst warnings

rename s_RC and s_negcache to g_recCache and g_negCache to make
clear they are global

dnsdist: views.hh should be a symbolic link to one in the pdns/ directory

Apply suggestions from code review

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Fix our string_view usage on older distributions

- boost::string_ref requires Boost >= 1.53.0, which we don't have
  in EL6, fall back to a plain std::string (alloc + copy) there ;
- boost::string_view::at() is broken for modern compilers before
  1.64.0, so let's use boost::string_ref instead in that case.

Merge pull request #9385 from rgacogne/rip-out-gss

auth: Remove GSS/TSIG support

Merge pull request #8993 from rgacogne/packetcache-cookies

Skip EDNS Cookies in the packet cache

docs: GSS/TSIG will be removed in 4.4.0, not 4.3.1

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

docs: GSS/TSIG will be removed in 4.4.0, not 4.3.1

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #8969 from rgacogne/systemd-more-sandboxing

Use more of systemd's sandboxing options when available

Update m4/pdns_check_dnstap.m4

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

dnsdist, rec: dnstap requires protobuf

Fail the configure when protobuf is disabled or not found but dnstap was
enabled.

Auth: remove a '// HACK FIXME400' and fix the bugs it was hiding

- LMDB backend was not handling out of zone additionals well.
- doAdditionalProcessingAndDropAA() was wasting backend queries for out of zone records.
- Remove the 'do-ipv6-additional-processing' setting, processing is now always on.
- Some cleanup in zone2sql.

Introduce an invalidate() method instead of assigning directly

Merge pull request #9471 from rgacogne/rec-log-missing-negindic

rec: Log when going Bogus because of a missing SOA in authority

Nasty interaction between security-poll and shared negcache:
if security pool is run, in the RPZ test we have a neg entry for .com
which makes the TTL of the NXDOMAIN unexpected.

rec: Log when going Bogus because of a missing SOA in authority

A missing SOA in the authority section of negative (NXDOMAIN, NODATA)
answers in a DNSSEC-secure zone currently leads to a Bogus result,
because the needed NSEC/NSEC3 could not be validated.

Reformat

Include <mutex>; constify a few methods

Shared & sharded NegCache

Merge pull request #9403 from jsoref/gemfile-ruby-crash

xenial: fix ruby crash

Merge pull request #9437 from jsoref/issue-9436

Add pdnsutil to see also for pdns_control

Merge pull request #9466 from Habbie/dnsdist-dnsname-toraw

dnsdist dnsname: add toDNSString convenience function

Merge pull request #9469 from rgacogne/dnsbulk-rnd

dnsbulktest: Initialize the 'rng' and 'entropy-source' arguments

dnsbulktest: Initialize the 'rng' and 'entropy-source' arguments

They are required to use dns_random(), which is used by our DNS
packet generation code.

Merge pull request #9461 from franklouwers/master

Add youtube and duckduckgo

dnsdist dnsname: add toDNSString convenience function

Merge pull request #9448 from omoerbeek/qname-min-vs-forward

rec: We only want to do QName Minimization for the names in a forwarded domain.

Merge pull request #9463 from spirillen/patch-1

Small rewrite of `addMasks(dofile`

Update pdns/recursordist/docs/lua-scripting/netmask.rst

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Small rewrite of `addMasks(dofile`

I have made this little rewrite to avoid other from pit falling into the same mistake I made myself, and read the existent code as a list of IP's inside `bad.ips`, and not a script returning pre-formatted IPs.

Use boost::optional to pass optional cutoff point. This way the
proper cutoff point can be specified for forwarded zones only,
making it possible to change it meaning witjout regular nameserver
lookups.

Make code more clear by eliminating the "ancestor" as suggested by @rgacogne

If we're looking in the cache for NS for a forwarded name, we
can cut off the search at the forwarding domain.

I'm not sure if I like the added complexity...

Merge pull request #9462 from phonedph1/patch-24

Update comboaddress.rst

Update comboaddress.rst

add www.duckduckgo

Add youtube and duckduckgo

Merge pull request #9454 from omoerbeek/rec-clear-parts

Parts is reused, so clear the names it might contain.

Parts is reused, so clear the names it might contain.

Take into account a potentially more specific NS we might
have in cache.

Also, do the forward lookup only once before the loop.

Merge pull request #9447 from omoerbeek/rec-prep-4.3.4

rec: Changelog and secpoll rec-4.3.4

We only want to do QName Minimization for the names in a forwarded
domain.

E.g. if foo.bar.com is forwarded and the qname is x.foo.bar.com,
start the QM process with ancestor foo.bar.com, so the query is
directed to the forwarder.  But if the qname is baz.bar.com, we do
regular QM, starting with the regular ancestor.

Should fix #9438 without breaking having forward for .

Prep rec-4.3.4

Merge pull request #9446 from pieterlexis/gcc10-fix

Fix building remote backend on GCC 10

Fix building remote backend on GCC 10

Merge pull request #9434 from omoerbeek/rec-forward-who-is-auth-for-ds

rec: When deciding if we are auth in the local auth or forwarding case, DS is special

Merge pull request #9445 from Habbie/docs-tcprule

dnsdist docs: TCPRule argument is not optional

dnsdist docs: TCPRule argument is not optional

Fix test

Merge pull request #9387 from zeha/notify-level

auth slave: log successful NOTIFY

Merge pull request #9442 from zeha/doxyconfig

Update doxygen config

Merge pull request #9439 from rgacogne/auth-fix-geoip-sample-config

auth: Fix the sample 'geoip.conf' for Debian-based packages

auth: Use https://doc.powerdns.com instead of https://docs.powerdns.com

Merge pull request #9441 from Habbie/rec-docs-dns64-multiprefix

rec docs: link to multi-prefix dns64 example on our wiki

Update doxygen config

rec docs: link to multi-prefix dns64 example on our wiki

auth: Fix the sample 'geoip.conf' for Debian-based packages

- The documentation of the backend has moved to a new URL ;
- 'geoip-database-file' has been renamed to 'geoip-database-files' ;
- 'geoip-database-file6' does not exist anymore.

Add pdnsutil to see also for pdns_control

Test for the reported issue wrt doing an spurious DS queries

I'm trying to setup a valid a.test and b.test, using a non-recursive forward
but somehow my DNSSEC setup is not right. Cannot spot the issue atm.

When deciding if we are auth in the local auth or forwarding case,
for DS records we need to look at the parent of the particular name.

Seems to fix #9433

Merge pull request #9175 from rgacogne/ddist-per-thread-lb-pol

dnsdist: Add per-thread Lua FFI load-balancing policies

auth slave: log successful NOTIFY

dnsdist: Whitelist "luaffiroundrobin"

dnsdist: Add per-thread Lua FFI load-balancing policies

This allows Lua FFI load-balancing policies that don't need access
to the global, shared Lua state to be lock-less, avoiding lock contention.

Merge pull request #9429 from Habbie/auth-4.3.1-docs-maria

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9430 from rgacogne/sdig-dns-message-ids

sdig: Increment the DNS message IDs when pipelining

Merge pull request #9431 from rgacogne/ddist-grepq-empty-names

dnsdist: Handle empty DNSNames in grepq()

Make conversion to uint16_t explicit, as suggested by Otto

Fix an out-of-bounds read (up to 4 bytes) in the packet cache

Detected by OSS-Fuzz. Also make sure that we don't try to parse
packets smaller than 12 bytes in the fuzzing target, those are
usually dropped earlier.

Skip EDNS Cookies in the packet cache

dnsdist: Handle empty DNSNames in grepq()

We should not get an empty DNSName into the ring buffer, but let's
handle it gracefully if it does happen so we can investigate, instead
of getting:

Caught exception: empty dnsnames aren't part of anything

sdig: Increment the DNS message IDs when pipelining

As stated in section 6.2.1 of rfc7766:
  "When sending multiple queries over a TCP connection, clients MUST NOT
   reuse the DNS Message ID of an in-flight query on that connection in
   order to avoid Message ID collisions.  This is especially important
   if the server could be performing out-of-order processing"

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9402 from jsoref/rst

RST cleanup

Merge pull request #9422 from zeha/mysql-sp

auth: add mysql stored procedure code test

Merge pull request #9423 from rgacogne/mysql-stored-procedures

auth: Handle the extra single-row result set of MySQL stored procedures