rename s_RC and s_negcache to g_recCache and g_negCache to make
clear they are global

Apply suggestions from code review

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Introduce an invalidate() method instead of assigning directly

Nasty interaction between security-poll and shared negcache:
if security pool is run, in the RPZ test we have a neg entry for .com
which makes the TTL of the NXDOMAIN unexpected.

Reformat

Include <mutex>; constify a few methods

Shared & sharded NegCache

Merge pull request #9403 from jsoref/gemfile-ruby-crash

xenial: fix ruby crash

Merge pull request #9437 from jsoref/issue-9436

Add pdnsutil to see also for pdns_control

Merge pull request #9466 from Habbie/dnsdist-dnsname-toraw

dnsdist dnsname: add toDNSString convenience function

Merge pull request #9469 from rgacogne/dnsbulk-rnd

dnsbulktest: Initialize the 'rng' and 'entropy-source' arguments

dnsbulktest: Initialize the 'rng' and 'entropy-source' arguments

They are required to use dns_random(), which is used by our DNS
packet generation code.

Merge pull request #9461 from franklouwers/master

Add youtube and duckduckgo

dnsdist dnsname: add toDNSString convenience function

Merge pull request #9448 from omoerbeek/qname-min-vs-forward

rec: We only want to do QName Minimization for the names in a forwarded domain.

Merge pull request #9463 from spirillen/patch-1

Small rewrite of `addMasks(dofile`

Update pdns/recursordist/docs/lua-scripting/netmask.rst

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Small rewrite of `addMasks(dofile`

I have made this little rewrite to avoid other from pit falling into the same mistake I made myself, and read the existent code as a list of IP's inside `bad.ips`, and not a script returning pre-formatted IPs.

Use boost::optional to pass optional cutoff point. This way the
proper cutoff point can be specified for forwarded zones only,
making it possible to change it meaning witjout regular nameserver
lookups.

Make code more clear by eliminating the "ancestor" as suggested by @rgacogne

If we're looking in the cache for NS for a forwarded name, we
can cut off the search at the forwarding domain.

I'm not sure if I like the added complexity...

Merge pull request #9462 from phonedph1/patch-24

Update comboaddress.rst

Update comboaddress.rst

add www.duckduckgo

Add youtube and duckduckgo

Merge pull request #9454 from omoerbeek/rec-clear-parts

Parts is reused, so clear the names it might contain.

Parts is reused, so clear the names it might contain.

Take into account a potentially more specific NS we might
have in cache.

Also, do the forward lookup only once before the loop.

Merge pull request #9447 from omoerbeek/rec-prep-4.3.4

rec: Changelog and secpoll rec-4.3.4

We only want to do QName Minimization for the names in a forwarded
domain.

E.g. if foo.bar.com is forwarded and the qname is x.foo.bar.com,
start the QM process with ancestor foo.bar.com, so the query is
directed to the forwarder.  But if the qname is baz.bar.com, we do
regular QM, starting with the regular ancestor.

Should fix #9438 without breaking having forward for .

Prep rec-4.3.4

Merge pull request #9446 from pieterlexis/gcc10-fix

Fix building remote backend on GCC 10

Fix building remote backend on GCC 10

Merge pull request #9434 from omoerbeek/rec-forward-who-is-auth-for-ds

rec: When deciding if we are auth in the local auth or forwarding case, DS is special

Merge pull request #9445 from Habbie/docs-tcprule

dnsdist docs: TCPRule argument is not optional

dnsdist docs: TCPRule argument is not optional

Fix test

Merge pull request #9387 from zeha/notify-level

auth slave: log successful NOTIFY

Merge pull request #9442 from zeha/doxyconfig

Update doxygen config

Merge pull request #9439 from rgacogne/auth-fix-geoip-sample-config

auth: Fix the sample 'geoip.conf' for Debian-based packages

auth: Use https://doc.powerdns.com instead of https://docs.powerdns.com

Merge pull request #9441 from Habbie/rec-docs-dns64-multiprefix

rec docs: link to multi-prefix dns64 example on our wiki

Update doxygen config

rec docs: link to multi-prefix dns64 example on our wiki

auth: Fix the sample 'geoip.conf' for Debian-based packages

- The documentation of the backend has moved to a new URL ;
- 'geoip-database-file' has been renamed to 'geoip-database-files' ;
- 'geoip-database-file6' does not exist anymore.

Add pdnsutil to see also for pdns_control

Test for the reported issue wrt doing an spurious DS queries

I'm trying to setup a valid a.test and b.test, using a non-recursive forward
but somehow my DNSSEC setup is not right. Cannot spot the issue atm.

When deciding if we are auth in the local auth or forwarding case,
for DS records we need to look at the parent of the particular name.

Seems to fix #9433

Merge pull request #9175 from rgacogne/ddist-per-thread-lb-pol

dnsdist: Add per-thread Lua FFI load-balancing policies

auth slave: log successful NOTIFY

dnsdist: Whitelist "luaffiroundrobin"

dnsdist: Add per-thread Lua FFI load-balancing policies

This allows Lua FFI load-balancing policies that don't need access
to the global, shared Lua state to be lock-less, avoiding lock contention.

Merge pull request #9429 from Habbie/auth-4.3.1-docs-maria

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9430 from rgacogne/sdig-dns-message-ids

sdig: Increment the DNS message IDs when pipelining

Merge pull request #9431 from rgacogne/ddist-grepq-empty-names

dnsdist: Handle empty DNSNames in grepq()

dnsdist: Handle empty DNSNames in grepq()

We should not get an empty DNSName into the ring buffer, but let's
handle it gracefully if it does happen so we can investigate, instead
of getting:

Caught exception: empty dnsnames aren't part of anything

sdig: Increment the DNS message IDs when pipelining

As stated in section 6.2.1 of rfc7766:
  "When sending multiple queries over a TCP connection, clients MUST NOT
   reuse the DNS Message ID of an in-flight query on that connection in
   order to avoid Message ID collisions.  This is especially important
   if the server could be performing out-of-order processing"

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9402 from jsoref/rst

RST cleanup

Merge pull request #9422 from zeha/mysql-sp

auth: add mysql stored procedure code test

Merge pull request #9423 from rgacogne/mysql-stored-procedures

auth: Handle the extra single-row result set of MySQL stored procedures

Merge pull request #9428 from pieterlexis/ddist-accept-string-cache-expungeByName

dnsdist: Accept string in DNSDistPacketCache:expungeByName

Merge pull request #9420 from rgacogne/ddist-pc-no-allocs

dnsdist: Get rid of allocations in the packet cache's fast path

Merge pull request #9424 from rgacogne/to-dnsstring-copy

Avoid unnecessary allocations and copies with DNSName::toDNSString()

dnsdist: Accept string in DNSDistPacketCache:expungeByName

auth: add test for gmysql with stored procedures

Merge pull request #9425 from omoerbeek/rec-prep-4.4.0-beta1

Prep for rec-4.4.0-beta1 release

Merge pull request #9426 from rgacogne/ddist-install-patch

dnsdist: Install 'patch' in Circle CI, required to install py-lmdb

dnsdist: Install 'patch', required to install py-lmdb

Use a size_t instead of an unsigned int in toLowerInPlace

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Prep for rec-4.4.0-beta1 release

auth: Handle the extra single-row result set of MySQL stored procedures

Avoid unnecessary allocations and copies with DNSName::toDNSString()

Merge pull request #9376 from omoerbeek/rec-rpz-store-trigger

Rec: rpz store trigger in appliedPolicy and protobuf message

Add new field `AppliedPolicyHit` to regress test.

Document new Lua dq fields and centralize logging in handle olicyHit functions.
Plus corrections from review.

Define a log string method for a Policy and use it in appropriate places
to log what is going on wrt RPZ processing.

Also record the value that caused a hit.

For triggers fomr rpz zones it makes sense to store them as listed there.
For hit values (names or IPs) it makes more sense to store them
in the regular string value and not list them as rpz trigger format.
e.g.: a trigger is listed

24.0.2.0.192.rpz-ip.rpz.local.

A corresponding hit as

192.0.2.1

Use static constr string instead of string literals for some well-known names.

Appease spell check

Check appliedPolicyTrigger in protobuf regress test

Log trigger in protobuf message

Store the trigger hit in the (applied)Policy.

While there fix (a (I thnk) doc bug: appliedPolicy.policyAction does
not exists. I think what is meant is policyType. So document that.

dnsdist: Get rid of allocations in the packet cache's fast path

This delivers a nice speed-up, up to ~40% in unrealistic micro-benchmarks,
likely much less in practice.

Merge pull request #9414 from rgacogne/rec-cname-rpz-4

rec: Apply filtering policies (RPZ) on CNAME chains as well

Merge pull request #9379 from rgacogne/ddist-clear-console-history

dnsdist: Add the 'clearConsoleHistory' command

Merge pull request #9419 from Habbie/sdig-id-nonzero

sdig: report non-zero ID in response

Merge pull request #8638 from threatstop/master

Support for APL Records

sdig: report non-zero ID in response

Use an union for the ipv4 and ipv6 fields

Removed duplicate entry
Rewrote description as a single line

rec: Update the documentation to better describe our RPZ behaviour

rec: Add DNSFilterEngine::Policy::wasHit() to prevent code duplication

rec: Trust the result from doCNAMECacheCheck() for RPZ hits

Merge pull request #9411 from omoerbeek/rec-inited-capture-is-cxx14

rec: Fix warning: initialized lambda captures are a C++14 extension

Merge pull request #9417 from PowerDNS/omoerbeek-patch-1

rec: FIx a few "warning: comparison of integers of different signs" on clang.OpenBSD

FIx a few "warning: comparison of integers of different signs" on clang/OpenBSD

Merge pull request #9375 from omoerbeek/rec-qmin-fallback-depth

rec: Allow some more depth headroom for the no-qname-minimization fallback case

Merge pull request #9415 from PowerDNS/omoerbeek-patch-1

auth: missing override

missing override