Update dnsdist-console.cc

Merge pull request #9482 from omoerbeek/rec-docs-rst-warnings

rec: Fix a few .rst warnings

Merge pull request #9479 from rgacogne/fix-views

Fix our string_view usage on older distributions

Merge pull request #9475 from omoerbeek/rec-shared-negcache

Rec: shared and sharded negcache

Merge pull request #9477 from pieterlexis/dnstap-needs-protobuf

dnsdist, rec: dnstap requires protobuf

Fix a few .rst warnings

rename s_RC and s_negcache to g_recCache and g_negCache to make
clear they are global

dnsdist: views.hh should be a symbolic link to one in the pdns/ directory

Apply suggestions from code review

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Fix our string_view usage on older distributions

- boost::string_ref requires Boost >= 1.53.0, which we don't have
  in EL6, fall back to a plain std::string (alloc + copy) there ;
- boost::string_view::at() is broken for modern compilers before
  1.64.0, so let's use boost::string_ref instead in that case.

Merge pull request #9385 from rgacogne/rip-out-gss

auth: Remove GSS/TSIG support

Merge pull request #8993 from rgacogne/packetcache-cookies

Skip EDNS Cookies in the packet cache

docs: GSS/TSIG will be removed in 4.4.0, not 4.3.1

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

docs: GSS/TSIG will be removed in 4.4.0, not 4.3.1

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #8969 from rgacogne/systemd-more-sandboxing

Use more of systemd's sandboxing options when available

Update m4/pdns_check_dnstap.m4

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

dnsdist, rec: dnstap requires protobuf

Fail the configure when protobuf is disabled or not found but dnstap was
enabled.

Introduce an invalidate() method instead of assigning directly

Merge pull request #9471 from rgacogne/rec-log-missing-negindic

rec: Log when going Bogus because of a missing SOA in authority

Nasty interaction between security-poll and shared negcache:
if security pool is run, in the RPZ test we have a neg entry for .com
which makes the TTL of the NXDOMAIN unexpected.

rec: Log when going Bogus because of a missing SOA in authority

A missing SOA in the authority section of negative (NXDOMAIN, NODATA)
answers in a DNSSEC-secure zone currently leads to a Bogus result,
because the needed NSEC/NSEC3 could not be validated.

Reformat

Include <mutex>; constify a few methods

Shared & sharded NegCache

Merge pull request #9403 from jsoref/gemfile-ruby-crash

xenial: fix ruby crash

Merge pull request #9437 from jsoref/issue-9436

Add pdnsutil to see also for pdns_control

Merge pull request #9466 from Habbie/dnsdist-dnsname-toraw

dnsdist dnsname: add toDNSString convenience function

Merge pull request #9469 from rgacogne/dnsbulk-rnd

dnsbulktest: Initialize the 'rng' and 'entropy-source' arguments

dnsbulktest: Initialize the 'rng' and 'entropy-source' arguments

They are required to use dns_random(), which is used by our DNS
packet generation code.

Merge pull request #9461 from franklouwers/master

Add youtube and duckduckgo

dnsdist dnsname: add toDNSString convenience function

Merge pull request #9448 from omoerbeek/qname-min-vs-forward

rec: We only want to do QName Minimization for the names in a forwarded domain.

Merge pull request #9463 from spirillen/patch-1

Small rewrite of `addMasks(dofile`

Update pdns/recursordist/docs/lua-scripting/netmask.rst

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Small rewrite of `addMasks(dofile`

I have made this little rewrite to avoid other from pit falling into the same mistake I made myself, and read the existent code as a list of IP's inside `bad.ips`, and not a script returning pre-formatted IPs.

Use boost::optional to pass optional cutoff point. This way the
proper cutoff point can be specified for forwarded zones only,
making it possible to change it meaning witjout regular nameserver
lookups.

Make code more clear by eliminating the "ancestor" as suggested by @rgacogne

If we're looking in the cache for NS for a forwarded name, we
can cut off the search at the forwarding domain.

I'm not sure if I like the added complexity...

Merge pull request #9462 from phonedph1/patch-24

Update comboaddress.rst

Update comboaddress.rst

add www.duckduckgo

Add youtube and duckduckgo

Merge pull request #9454 from omoerbeek/rec-clear-parts

Parts is reused, so clear the names it might contain.

Parts is reused, so clear the names it might contain.

Take into account a potentially more specific NS we might
have in cache.

Also, do the forward lookup only once before the loop.

Merge pull request #9447 from omoerbeek/rec-prep-4.3.4

rec: Changelog and secpoll rec-4.3.4

We only want to do QName Minimization for the names in a forwarded
domain.

E.g. if foo.bar.com is forwarded and the qname is x.foo.bar.com,
start the QM process with ancestor foo.bar.com, so the query is
directed to the forwarder.  But if the qname is baz.bar.com, we do
regular QM, starting with the regular ancestor.

Should fix #9438 without breaking having forward for .

Prep rec-4.3.4

Merge pull request #9446 from pieterlexis/gcc10-fix

Fix building remote backend on GCC 10

Fix building remote backend on GCC 10

Merge pull request #9434 from omoerbeek/rec-forward-who-is-auth-for-ds

rec: When deciding if we are auth in the local auth or forwarding case, DS is special

Merge pull request #9445 from Habbie/docs-tcprule

dnsdist docs: TCPRule argument is not optional

dnsdist docs: TCPRule argument is not optional

Fix test

Merge pull request #9387 from zeha/notify-level

auth slave: log successful NOTIFY

Merge pull request #9442 from zeha/doxyconfig

Update doxygen config

Merge pull request #9439 from rgacogne/auth-fix-geoip-sample-config

auth: Fix the sample 'geoip.conf' for Debian-based packages

auth: Use https://doc.powerdns.com instead of https://docs.powerdns.com

Merge pull request #9441 from Habbie/rec-docs-dns64-multiprefix

rec docs: link to multi-prefix dns64 example on our wiki

Update doxygen config

rec docs: link to multi-prefix dns64 example on our wiki

auth: Fix the sample 'geoip.conf' for Debian-based packages

- The documentation of the backend has moved to a new URL ;
- 'geoip-database-file' has been renamed to 'geoip-database-files' ;
- 'geoip-database-file6' does not exist anymore.

Add pdnsutil to see also for pdns_control

Test for the reported issue wrt doing an spurious DS queries

I'm trying to setup a valid a.test and b.test, using a non-recursive forward
but somehow my DNSSEC setup is not right. Cannot spot the issue atm.

When deciding if we are auth in the local auth or forwarding case,
for DS records we need to look at the parent of the particular name.

Seems to fix #9433

Merge pull request #9175 from rgacogne/ddist-per-thread-lb-pol

dnsdist: Add per-thread Lua FFI load-balancing policies

auth slave: log successful NOTIFY

dnsdist: Whitelist "luaffiroundrobin"

dnsdist: Add per-thread Lua FFI load-balancing policies

This allows Lua FFI load-balancing policies that don't need access
to the global, shared Lua state to be lock-less, avoiding lock contention.

Merge pull request #9429 from Habbie/auth-4.3.1-docs-maria

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9430 from rgacogne/sdig-dns-message-ids

sdig: Increment the DNS message IDs when pipelining

Merge pull request #9431 from rgacogne/ddist-grepq-empty-names

dnsdist: Handle empty DNSNames in grepq()

Make conversion to uint16_t explicit, as suggested by Otto

Fix an out-of-bounds read (up to 4 bytes) in the packet cache

Detected by OSS-Fuzz. Also make sure that we don't try to parse
packets smaller than 12 bytes in the fuzzing target, those are
usually dropped earlier.

Skip EDNS Cookies in the packet cache

dnsdist: Handle empty DNSNames in grepq()

We should not get an empty DNSName into the ring buffer, but let's
handle it gracefully if it does happen so we can investigate, instead
of getting:

Caught exception: empty dnsnames aren't part of anything

sdig: Increment the DNS message IDs when pipelining

As stated in section 6.2.1 of rfc7766:
  "When sending multiple queries over a TCP connection, clients MUST NOT
   reuse the DNS Message ID of an in-flight query on that connection in
   order to avoid Message ID collisions.  This is especially important
   if the server could be performing out-of-order processing"

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9402 from jsoref/rst

RST cleanup

Merge pull request #9422 from zeha/mysql-sp

auth: add mysql stored procedure code test

Merge pull request #9423 from rgacogne/mysql-stored-procedures

auth: Handle the extra single-row result set of MySQL stored procedures

Merge pull request #9428 from pieterlexis/ddist-accept-string-cache-expungeByName

dnsdist: Accept string in DNSDistPacketCache:expungeByName

Merge pull request #9420 from rgacogne/ddist-pc-no-allocs

dnsdist: Get rid of allocations in the packet cache's fast path

Merge pull request #9424 from rgacogne/to-dnsstring-copy

Avoid unnecessary allocations and copies with DNSName::toDNSString()

dnsdist: Accept string in DNSDistPacketCache:expungeByName

auth: add test for gmysql with stored procedures

Merge pull request #9425 from omoerbeek/rec-prep-4.4.0-beta1

Prep for rec-4.4.0-beta1 release

Merge pull request #9426 from rgacogne/ddist-install-patch

dnsdist: Install 'patch' in Circle CI, required to install py-lmdb

dnsdist: Install 'patch', required to install py-lmdb

Use a size_t instead of an unsigned int in toLowerInPlace

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Prep for rec-4.4.0-beta1 release

auth: Handle the extra single-row result set of MySQL stored procedures

Avoid unnecessary allocations and copies with DNSName::toDNSString()

Merge pull request #9376 from omoerbeek/rec-rpz-store-trigger

Rec: rpz store trigger in appliedPolicy and protobuf message

Add new field `AppliedPolicyHit` to regress test.

Document new Lua dq fields and centralize logging in handle olicyHit functions.
Plus corrections from review.

Define a log string method for a Policy and use it in appropriate places
to log what is going on wrt RPZ processing.

Also record the value that caused a hit.

For triggers fomr rpz zones it makes sense to store them as listed there.
For hit values (names or IPs) it makes more sense to store them
in the regular string value and not list them as rpz trigger format.
e.g.: a trigger is listed

24.0.2.0.192.rpz-ip.rpz.local.

A corresponding hit as

192.0.2.1

Use static constr string instead of string literals for some well-known names.

Appease spell check