Backport #9515 to 4.4.x: actually fix wipe-cache-typed

Merge pull request #9528 from omoerbeek/backport-9471-to-rec-4.4.x

rec: Backport 9471 to rec-4.4.x: Log when going Bogus because of a missing SOA in authority

Merge pull request #9526 from omoerbeek/backport-9495-to-rec-4.4.x

rec: Backport 9495 to rec 4.4.x: Watch the descriptor again after an out-of-order read timeout

rec: Log when going Bogus because of a missing SOA in authority

A missing SOA in the authority section of negative (NXDOMAIN, NODATA)
answers in a DNSSEC-secure zone currently leads to a Bogus result,
because the needed NSEC/NSEC3 could not be validated.

(cherry picked from commit 832f4fbdd7ef50d0e0ff5135ee6e270acc22df9d)

rec: Fix a typo in a comment

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit ebcde9cbc9e1239157963e581327cdacde3a862f)

rec: Watch the descriptor again after an out-of-order read timeout

It might be that there was no other incoming query on that connection
and we timed out while the response had not been sent yet, but the
client might want to re-use the connection after receving the response.
We try to reset the TTD, but that might fail when the socket descriptor
has already been removed.

(cherry picked from commit b05ef1b472cfa3597dda44075f3947abd565008b)

Merge pull request #9506 from omoerbeek/backport-9497-to-rec-4.4.x

rec: Backport 9497 to rec 4.4.x: raise an exception on invalid content in unknown record

rec: Fix invalid unknown record in the unit tests

(cherry picked from commit dda934facbac96a0aad5a82f84113009ddf3ec92)

Raise an exception on invalid first part (!= \#) in unknown records

(cherry picked from commit 2d79e3273b9b68bbdb0e45a2df1fbe4769296d07)

Raise an exception on invalid hex content in unknown records

Otherwise we can end up reading uninitialised memory from the stack,
possibly leaking information.
This is only an issue if the content is read from an untrusted source
and can be passed back to an attacker.

(cherry picked from commit f5234115710094a8a7bd0b5ebddaa1fde83a52f0)

Merge pull request #9465 from omoerbeek/backport-9448-to-rec-4.4.x

rec: Backport 9448 to rec 4.4.x: We only want to do QName Minimization for the names in a forwarded  domain.

Use boost::optional to pass optional cutoff point. This way the
proper cutoff point can be specified for forwarded zones only,
making it possible to change it meaning witjout regular nameserver
lookups.

(cherry picked from commit 96ce7d340951b31a3e3d042455a1f0e7f3a6eb56)

Make code more clear by eliminating the "ancestor" as suggested by @rgacogne

(cherry picked from commit 1722d283bd3cf119870988213e9052bf0312a3e3)

If we're looking in the cache for NS for a forwarded name, we
can cut off the search at the forwarding domain.

I'm not sure if I like the added complexity...

(cherry picked from commit 007fb8008a7da4698dde9f65a8d7ace72d47970c)

Take into account a potentially more specific NS we might
have in cache.

Also, do the forward lookup only once before the loop.

(cherry picked from commit afb1d0393abd613b2f362e48d1e3dde3d34689ca)

We only want to do QName Minimization for the names in a forwarded
domain.

E.g. if foo.bar.com is forwarded and the qname is x.foo.bar.com,
start the QM process with ancestor foo.bar.com, so the query is
directed to the forwarder.  But if the qname is baz.bar.com, we do
regular QM, starting with the regular ancestor.

Should fix #9438 without breaking having forward for .

(cherry picked from commit 21af3294a6fdacd9632ecb3a05eb2ccf204d2fdb)

Merge pull request #9458 from omoerbeek/backport-9454-to-rec-4.4.x

rec: backport to 4.4.x: Parts is reused, so clear the names it might contain.

Merge pull request #9459 from rgacogne/rec44-remove-non-rec-tests

rec-4.4.x: Remove non-recursor tests

rec-4.4.x: Remove non-recursor tests

Parts is reused, so clear the names it might contain.

(cherry picked from commit bc3d2b7386e058c39872a3aa74101283b6f1af45)

Merge pull request #9376 from omoerbeek/rec-rpz-store-trigger

Rec: rpz store trigger in appliedPolicy and protobuf message

Add new field `AppliedPolicyHit` to regress test.

Document new Lua dq fields and centralize logging in handle olicyHit functions.
Plus corrections from review.

Define a log string method for a Policy and use it in appropriate places
to log what is going on wrt RPZ processing.

Also record the value that caused a hit.

For triggers fomr rpz zones it makes sense to store them as listed there.
For hit values (names or IPs) it makes more sense to store them
in the regular string value and not list them as rpz trigger format.
e.g.: a trigger is listed

24.0.2.0.192.rpz-ip.rpz.local.

A corresponding hit as

192.0.2.1

Use static constr string instead of string literals for some well-known names.

Appease spell check

Check appliedPolicyTrigger in protobuf regress test

Log trigger in protobuf message

Store the trigger hit in the (applied)Policy.

While there fix (a (I thnk) doc bug: appliedPolicy.policyAction does
not exists. I think what is meant is policyType. So document that.

Merge pull request #9414 from rgacogne/rec-cname-rpz-4

rec: Apply filtering policies (RPZ) on CNAME chains as well

Merge pull request #9379 from rgacogne/ddist-clear-console-history

dnsdist: Add the 'clearConsoleHistory' command

Merge pull request #9419 from Habbie/sdig-id-nonzero

sdig: report non-zero ID in response

Merge pull request #8638 from threatstop/master

Support for APL Records

sdig: report non-zero ID in response

Use an union for the ipv4 and ipv6 fields

Removed duplicate entry
Rewrote description as a single line

rec: Update the documentation to better describe our RPZ behaviour

rec: Add DNSFilterEngine::Policy::wasHit() to prevent code duplication

rec: Trust the result from doCNAMECacheCheck() for RPZ hits

Merge pull request #9411 from omoerbeek/rec-inited-capture-is-cxx14

rec: Fix warning: initialized lambda captures are a C++14 extension

Merge pull request #9417 from PowerDNS/omoerbeek-patch-1

rec: FIx a few "warning: comparison of integers of different signs" on clang.OpenBSD

FIx a few "warning: comparison of integers of different signs" on clang/OpenBSD

Merge pull request #9375 from omoerbeek/rec-qmin-fallback-depth

rec: Allow some more depth headroom for the no-qname-minimization fallback case

Merge pull request #9415 from PowerDNS/omoerbeek-patch-1

auth: missing override

missing override

Merge remote-tracking branch 'origin/rec-cname-rpz-4' into rec-cname-rpz

rec: Add regression tests for RPZ CNAME chains

rec: Properly handle RPZ hits for records retrieved from the cache

rec: When adding custom records from RPZ, remove conflicting ones

Document the extra allowance in case of qname-minimization fallback.

Zap some redundant args

dnsdist: Dcocument the new 'clearConsoleHistory()' command

Merge pull request #9412 from omoerbeek/rec-channel-coverity

rec: Clean some coverity reported cases of exceptions thrown but not caught.

Merge pull request #9401 from Habbie/statbag-declare-pointer

statbag: handle key redeclarations better

Do not use ref

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

rec: Fix formatting

rec: Document the new RPZ behaviour, objects and hooks

rec: Add a new policy filter event Lua hook

We now do the filtering during the resolution, instead of at the end,
to better match the RPZ specifications. Unfortunately it means that
we need a new hook to be able to act on policy events, since they
can occur in various places.

rec: Update tests since we now filter on CNAME chains

rec: Handle RPZ CNAME chains, post-policies on cache hits as well

Simplify things a bit

We have a rather fundamental issue here: in some cases, we want
the RPZ post policy to extend the current result vector and in some cases
we want to replace the result vector built up earlier.

ATM I have no clear method how that should be determined.

Added depth check for qnameRPZHit() and some comments.

Simplified getClientPolicy()

Handle non-CNAME cases and auth/forward case.

Though regression test is not happy yet this should be an improvement.
Also refactor qnameRPZHit a bit.

Move Query policy handling to SyncRes.

This allows for intermediate CNAMEs to be subject to RPZ
processing.

Split the ClientIP and QName processing for RPZ.

The first will be done initially only, while the second
will be used during CNAME chasing.

Merge pull request #9409 from mind04/pdns-race2

auth: clear the key cache after addKey()

Merge pull request #9381 from rgacogne/ddist-delaypipe-eintr

dnsdist: Handle EINTR in DelayPipe

Merge pull request #9382 from rgacogne/ddist-speedup-rr

dnsdist: Speed up the round robin policy

Clean some coverity reported cases of exceptions thrown but not caught.

See e.g. coverity report 1431930

auth: clear the key cache after addKey()

Merge pull request #9391 from omoerbeek/rec-new-rc-stats

rec: export record cache mutex stats via the various channels.

Merge pull request #9405 from rgacogne/fix-doc-per-zone-settings-domain-metadata

doc: Fix broken link to "per-zone-settings-domain-metadata"

Merge pull request #9406 from Habbie/pdnsutil-static-declaration

pdnsutil: file-local functions need to be static

Fix warning: initialized lambda captures are a C++14 extension

dnsdist: Handle an empty servers list in the RR policy

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Speed up the round robin policy

Working with indices instead of copying shared pointers results in
a nice speed up, cutting the CPU time in half.

Merge pull request #9408 from RvdE/patch-5

Fix building with LLVM11

Merge pull request #9396 from omoerbeek/rec-rpz-ip-multi

Rec: allow multipe local data records when doing RPZ IP matching

Sorting of items

s/mutex/lock in descriptions

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Fix building with LLVM11

There's a typo on line 529, where it says "true", but the double quotes cause a type cast error on LLVM11.

dnsdist-console.cc:529:32: error: type 'const char [5]' cannot be narrowed to 'bool' in initializer list [-Wc++11-narrowing]
  { "SetNegativeAndSOAAction", "true", "nxd, zone, ttl, mname, rname, serial, refresh, retry, expire, minimum [, options]", "Turn a query into a NXDomain or NoData answer and sets a SOA record in the additional section" },
                               ^~~~~~
dnsdist-console.cc:529:32: note: insert an explicit cast to silence this issue
  { "SetNegativeAndSOAAction", "true", "nxd, zone, ttl, mname, rname, serial, refresh, retry, expire, minimum [, options]", "Turn a query into a NXDomain or NoData answer and sets a SOA record in the additional section" },
                               ^~~~~~
                               static_cast<bool>( )
1 error generated.

Merge pull request #9407 from mind04/pdns-race

auth: fix cache cleaning race conditions in DNSSECKeeper()

auth: fix cache cleaning race conditions in DNSSECKeeper()

pdnsutil: file-local functions need to be static

statbag: prevent re-declaration in production coded

doc: Fix broken link to "per-zone-settings-domain-metadata"

Merge pull request #9157 from rgacogne/reuseport-lb

Add support for FreeBSD's SO_REUSEPORT_LB

Merge pull request #9404 from jsoref/test-recursor-remove-cd

test-recursor: remove duplicate cd directive

Replaced bzero with memset
Adjusted types
(via Remi on Aug 19)

statbag: when redeclaring a key, reset to 0 instead of reallocating

Merge pull request #9088 from neheb/nbm

replace boost:bind() with lambdas

Merge pull request #9399 from jsoref/rst-blankline

rst: Definition list ends without a blank line; unexpected unindent

Formatting

Merge pull request #9101 from pieterlexis/lua-record-improvements

LUA records: two improvements to createForward

Merge pull request #8824 from cmouse/retrieve

Allow forced retrieval

Merge pull request #9395 from Habbie/spelling-9264

fix spelling dict after merge of 9264

fix spelling dict after merge of 9264