dnsdist dnsname: add toDNSString convenience function

Merge pull request #9454 from omoerbeek/rec-clear-parts

Parts is reused, so clear the names it might contain.

Parts is reused, so clear the names it might contain.

Merge pull request #9447 from omoerbeek/rec-prep-4.3.4

rec: Changelog and secpoll rec-4.3.4

Prep rec-4.3.4

Merge pull request #9446 from pieterlexis/gcc10-fix

Fix building remote backend on GCC 10

Fix building remote backend on GCC 10

Merge pull request #9434 from omoerbeek/rec-forward-who-is-auth-for-ds

rec: When deciding if we are auth in the local auth or forwarding case, DS is special

Merge pull request #9445 from Habbie/docs-tcprule

dnsdist docs: TCPRule argument is not optional

dnsdist docs: TCPRule argument is not optional

Fix test

Merge pull request #9387 from zeha/notify-level

auth slave: log successful NOTIFY

Merge pull request #9442 from zeha/doxyconfig

Update doxygen config

Merge pull request #9439 from rgacogne/auth-fix-geoip-sample-config

auth: Fix the sample 'geoip.conf' for Debian-based packages

auth: Use https://doc.powerdns.com instead of https://docs.powerdns.com

Merge pull request #9441 from Habbie/rec-docs-dns64-multiprefix

rec docs: link to multi-prefix dns64 example on our wiki

Update doxygen config

rec docs: link to multi-prefix dns64 example on our wiki

auth: Fix the sample 'geoip.conf' for Debian-based packages

- The documentation of the backend has moved to a new URL ;
- 'geoip-database-file' has been renamed to 'geoip-database-files' ;
- 'geoip-database-file6' does not exist anymore.

Test for the reported issue wrt doing an spurious DS queries

I'm trying to setup a valid a.test and b.test, using a non-recursive forward
but somehow my DNSSEC setup is not right. Cannot spot the issue atm.

When deciding if we are auth in the local auth or forwarding case,
for DS records we need to look at the parent of the particular name.

Seems to fix #9433

Merge pull request #9175 from rgacogne/ddist-per-thread-lb-pol

dnsdist: Add per-thread Lua FFI load-balancing policies

auth slave: log successful NOTIFY

dnsdist: Whitelist "luaffiroundrobin"

dnsdist: Add per-thread Lua FFI load-balancing policies

This allows Lua FFI load-balancing policies that don't need access
to the global, shared Lua state to be lock-less, avoiding lock contention.

Merge pull request #9429 from Habbie/auth-4.3.1-docs-maria

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9430 from rgacogne/sdig-dns-message-ids

sdig: Increment the DNS message IDs when pipelining

Merge pull request #9431 from rgacogne/ddist-grepq-empty-names

dnsdist: Handle empty DNSNames in grepq()

dnsdist: Handle empty DNSNames in grepq()

We should not get an empty DNSName into the ring buffer, but let's
handle it gracefully if it does happen so we can investigate, instead
of getting:

Caught exception: empty dnsnames aren't part of anything

sdig: Increment the DNS message IDs when pipelining

As stated in section 6.2.1 of rfc7766:
  "When sending multiple queries over a TCP connection, clients MUST NOT
   reuse the DNS Message ID of an in-flight query on that connection in
   order to avoid Message ID collisions.  This is especially important
   if the server could be performing out-of-order processing"

auth 4.3.1 upgrade note for the mysql client lib

Merge pull request #9402 from jsoref/rst

RST cleanup

Merge pull request #9422 from zeha/mysql-sp

auth: add mysql stored procedure code test

Merge pull request #9423 from rgacogne/mysql-stored-procedures

auth: Handle the extra single-row result set of MySQL stored procedures

Merge pull request #9428 from pieterlexis/ddist-accept-string-cache-expungeByName

dnsdist: Accept string in DNSDistPacketCache:expungeByName

Merge pull request #9420 from rgacogne/ddist-pc-no-allocs

dnsdist: Get rid of allocations in the packet cache's fast path

Merge pull request #9424 from rgacogne/to-dnsstring-copy

Avoid unnecessary allocations and copies with DNSName::toDNSString()

dnsdist: Accept string in DNSDistPacketCache:expungeByName

auth: add test for gmysql with stored procedures

Merge pull request #9425 from omoerbeek/rec-prep-4.4.0-beta1

Prep for rec-4.4.0-beta1 release

Merge pull request #9426 from rgacogne/ddist-install-patch

dnsdist: Install 'patch' in Circle CI, required to install py-lmdb

dnsdist: Install 'patch', required to install py-lmdb

Use a size_t instead of an unsigned int in toLowerInPlace

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Prep for rec-4.4.0-beta1 release

auth: Handle the extra single-row result set of MySQL stored procedures

Avoid unnecessary allocations and copies with DNSName::toDNSString()

Merge pull request #9376 from omoerbeek/rec-rpz-store-trigger

Rec: rpz store trigger in appliedPolicy and protobuf message

Add new field `AppliedPolicyHit` to regress test.

Document new Lua dq fields and centralize logging in handle olicyHit functions.
Plus corrections from review.

Define a log string method for a Policy and use it in appropriate places
to log what is going on wrt RPZ processing.

Also record the value that caused a hit.

For triggers fomr rpz zones it makes sense to store them as listed there.
For hit values (names or IPs) it makes more sense to store them
in the regular string value and not list them as rpz trigger format.
e.g.: a trigger is listed

24.0.2.0.192.rpz-ip.rpz.local.

A corresponding hit as

192.0.2.1

Use static constr string instead of string literals for some well-known names.

Appease spell check

Check appliedPolicyTrigger in protobuf regress test

Log trigger in protobuf message

Store the trigger hit in the (applied)Policy.

While there fix (a (I thnk) doc bug: appliedPolicy.policyAction does
not exists. I think what is meant is policyType. So document that.

dnsdist: Get rid of allocations in the packet cache's fast path

This delivers a nice speed-up, up to ~40% in unrealistic micro-benchmarks,
likely much less in practice.

Merge pull request #9414 from rgacogne/rec-cname-rpz-4

rec: Apply filtering policies (RPZ) on CNAME chains as well

Merge pull request #9379 from rgacogne/ddist-clear-console-history

dnsdist: Add the 'clearConsoleHistory' command

Merge pull request #9419 from Habbie/sdig-id-nonzero

sdig: report non-zero ID in response

Merge pull request #8638 from threatstop/master

Support for APL Records

sdig: report non-zero ID in response

Use an union for the ipv4 and ipv6 fields

Removed duplicate entry
Rewrote description as a single line

rec: Update the documentation to better describe our RPZ behaviour

rec: Add DNSFilterEngine::Policy::wasHit() to prevent code duplication

rec: Trust the result from doCNAMECacheCheck() for RPZ hits

Merge pull request #9411 from omoerbeek/rec-inited-capture-is-cxx14

rec: Fix warning: initialized lambda captures are a C++14 extension

Merge pull request #9417 from PowerDNS/omoerbeek-patch-1

rec: FIx a few "warning: comparison of integers of different signs" on clang.OpenBSD

FIx a few "warning: comparison of integers of different signs" on clang/OpenBSD

Merge pull request #9375 from omoerbeek/rec-qmin-fallback-depth

rec: Allow some more depth headroom for the no-qname-minimization fallback case

Merge pull request #9415 from PowerDNS/omoerbeek-patch-1

auth: missing override

missing override

Merge remote-tracking branch 'origin/rec-cname-rpz-4' into rec-cname-rpz

rec: Add regression tests for RPZ CNAME chains

rec: Properly handle RPZ hits for records retrieved from the cache

rec: When adding custom records from RPZ, remove conflicting ones

Document the extra allowance in case of qname-minimization fallback.

Zap some redundant args

dnsdist: Dcocument the new 'clearConsoleHistory()' command

Merge pull request #9412 from omoerbeek/rec-channel-coverity

rec: Clean some coverity reported cases of exceptions thrown but not caught.

Merge pull request #9401 from Habbie/statbag-declare-pointer

statbag: handle key redeclarations better

Do not use ref

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

rec: Fix formatting

rec: Document the new RPZ behaviour, objects and hooks

rec: Add a new policy filter event Lua hook

We now do the filtering during the resolution, instead of at the end,
to better match the RPZ specifications. Unfortunately it means that
we need a new hook to be able to act on policy events, since they
can occur in various places.

rec: Update tests since we now filter on CNAME chains

rec: Handle RPZ CNAME chains, post-policies on cache hits as well

Simplify things a bit

We have a rather fundamental issue here: in some cases, we want
the RPZ post policy to extend the current result vector and in some cases
we want to replace the result vector built up earlier.

ATM I have no clear method how that should be determined.

Added depth check for qnameRPZHit() and some comments.

Simplified getClientPolicy()

Handle non-CNAME cases and auth/forward case.

Though regression test is not happy yet this should be an improvement.
Also refactor qnameRPZHit a bit.

Move Query policy handling to SyncRes.

This allows for intermediate CNAMEs to be subject to RPZ
processing.

Split the ClientIP and QName processing for RPZ.

The first will be done initially only, while the second
will be used during CNAME chasing.

Merge pull request #9409 from mind04/pdns-race2

auth: clear the key cache after addKey()

Merge pull request #9381 from rgacogne/ddist-delaypipe-eintr

dnsdist: Handle EINTR in DelayPipe

Merge pull request #9382 from rgacogne/ddist-speedup-rr

dnsdist: Speed up the round robin policy

Clean some coverity reported cases of exceptions thrown but not caught.

See e.g. coverity report 1431930

auth: clear the key cache after addKey()