Add regression tests for prerpz

Add documentation for the `prerpz` hook

`protobufLogQuery()` never actually gets an applied policy

Minor indentation fixes in `loadRecursorLuaConfig()`

rec: Add a 'prerpz' hook to be able to discard selected RPZ policies

RPZ: Tests for wantsRPZ override, NSDNAME and NSIP

RPZ: Implement NSDNAME and NSIP RPZ capabilities

Closes #2897

This also adds an extra bool 'wantsRPZ' to the Lua engine so RPZ
processing can be disabled for queries (Closes #4226).

Furthermore, IPv6 for RPZ is implemented.

RPZ: Add metrics for the Policy Engine

Closes #2895

RPZ tests: add test for #4086

Add RPZ lua tests

Add basic RPZ tests

Allow Lua to modify the RPZ decision

in preResolve() and postResolve(), the user can now modify the whole
appliedPolicy. For clarity, the appliedPolicy elements have been named
policySomething. one can set the policyKind with the helper
pdns.policykinds.Name.

When the query is not marked as 'handled' by the Lua function, the
(possibly modified) policy is applied to the query.

RPZ: Always set the policy name

For slaved zones, set it to the name of the zone by default. For
file-based RPZs, use "rpzFile";

RPZ: filter correctly by name

Closes #4086

pdns_recursor.cc: Move comment to the right place

Recursor: Always log EDNS clientsubnet in trace

lua-recursor4.cc: whitespace fixes

Merge pull request #4163 from pieterlexis/license-woes

More licensing everywhere

Merge pull request #4357 from pieterlexis/root-dnssec-data-to-header

Move the root DNSSEC data to a header file

Merge pull request #4288 from rgacogne/rec-async-protobuf-startup

rec: Respect the timeout when connecting to a protobuf server

Merge pull request #4318 from rgacogne/rec-anonymize-protobuf-ecs

rec: Anonymize the protobuf ECS value as well

Merge pull request #4354 from rgacogne/rec-delegation-only

rec: Fix delegation-only

Merge pull request #4351 from pieterlexis/issue-4343-rec-rpz-source-addr

RPZ: Use query-local-address(6) by default

Merge pull request #4340 from ahupowerdns/cnamesfirst

Recursor would shuffle CNAME records until after the name they referred to.

log expired rrsig on dnskeys

Merge pull request #4349 from rgacogne/remove-unused-dnspacket-dqlen

Remove unused `DNSPacket::d_qlen`

Move the root DNSSEC data to a header file

Fixes #4253

Merge pull request #4175 from skoef/queryLogging

dnsdist: implemented query counting

dnsdist: implemented query counting

RPZ: Use query-local-address(6) for IXFR as well

rec: Fix delegation-only

* use a unordered_set instead of a `SuffixMatchNode`
* allow RRSIG and DNSKEY from delegation-only servers

RPZ: Use query-local-address(6) by default

Add localAddress to rpzMaster options to allow override.

Fixes #4343

Remove unused `DNSPacket::d_qlen`

Merge pull request #4334 from pieterlexis/doc-getRaw

recursor Lua: Document ComboAddress:getRaw()

Merge pull request #4335 from mind04/tsig

fix TSIG for single thread distributor

so what broke the ordering was the RRSIGs interspersed with the answers. With this commit, RRSIGs get explicitly put at the back, and also not shuffled
within the actual answer records.

The PowerDNS Recursor shuffles answers randomly, so no single A record gets overloaded. This logic also took care not to shuffle a CNAME record until after the name it points to, because we theorized this would upset some resolvers.
Our logic however assumed all the CNAMEs would initially be at the front of the packet. We'd start our shuffling after skipping all the CNAMEs up front. It now turns out that sometimes we end up with a 'CNAME A CNAME A' packet to shuffle.
This would happily shuffle the last three records. With this PR, we put the CNAMEs up front explicitly before commencing the shuffle. Closes #4339.

Still to be investigated: why didn't this bite us before?

rec: Add a `asyncConnect` option to `protobufServer()`

rec: Respect the timeout when connecting to a protobuf server

recursor Lua: Document ComboAddress:getRaw()

Merge pull request #4325 from pieterlexis/dnsdist-pkg-more-features

Build dnsdist packages with libre2 and DNSCrypt support (where available)

Merge pull request #4284 from rgacogne/dnsdist-response-delay

dnsdist: Add RCodeRule(), Allow, Delay and Drop response actions

Merge pull request #4326 from zeha/api-example-fix

Fix broken HTTP API example for AAAA

Merge pull request #4251 from rgacogne/dnsdist-website-optional-deps

dnsdist: Document protobuf and re2 as optional deps

Merge pull request #4068 from rgacogne/dnsdist-ebpf-web

dnsdist: Display the dyn eBPF filters stats in the web interface

dnsdist: build pkgs with dnscrypt and re2 support

Only for distros where libsodium and libre2 are recent enough.

Merge pull request #4116 from skoef/netmaskGroupRuleLocalAddr

added src boolean to NetmaskGroupRule to match destination address

dnsdist: Add RCodeRule(), Allow, Delay and Drop response actions

Merge pull request #4286 from rgacogne/dnsdist-response-rules-api

dnsdist: Add response rules to the API and Web status page

Standardize license text in all PDNS files

More licensing everywhere

Closes #4148

Merge pull request #4329 from wessels/master

Add options to LogAction() so it can append (instead of truncate) and…

Forgot to add [append] and [buffered] parameters to LogAppend() description

We don't need to keep d_append and d_buffered around, since they
are only used in the constructor.

Merge pull request #4323 from ahupowerdns/dnsname-lowercase

with this change, DNSName can make a lowercase copy of itself, and we use this for speedup

Add options to LogAction() so it can append (instead of truncate) and write without buffering.

Was so happy to discover LogAction() but disappointed that it truncates
the file each time the process starts, and apparently doesn't flush the
file upon exiting.  With two new optional args, the file can be appended
rather than truncated and buffering disabled.  The defaults remain as
before, which is to say to truncate and to buffer.

Fix broken HTTP API example for AAAA

dnsdist: Allow re2 detection without .pc file

malloctrace would crash if you asked it for more topAllocators than there were

with this change, DNSName can make a lowercase copy of itself, and we make dnssecsigner.cc use that instead of round-tripping through human-escape presentation for lowercasing.
Includes a test

fix up speedtest compilation

Merge pull request #4317 from ahupowerdns/root-performance

Root performance fixes after tests by Anand

auth: protobuf now uses CA::truncate(), link dnspcap2protobuf with iputils.cc

rec: Anonymize the protobuf ECS value as well

limit packet cache cleaning to at most once every 30 seconds

fix up attempting to do additional processing on SRV records where we have nothing to resolve. This may in fact be a root SRV issue.

fix up AtomicCounter being used unitialized here and there, plus possibly fix clang compilation

fix up unit tests for new AtomicCoutnter

remove our badly handcrafted AtomicCounter implementation, centralize packetcache cache cleaning interval (ready for further improvement)

speed up IPv6 additional processing (on by default) with an ANY query. Also saves a bunch of mallocs. Especially important when running as a root-server. Thanks to Anand Buddhdev for helping us make aware of this issue.

pipe timeout was equal to sleep(1) in the backend, leading to excessive brittleness.

even longer timeout

make test a bit more robust against travis or slow servers

add a test for the overload limit in the distributor

Merge pull request #4294 from rgacogne/rec-pie-flags

rec: Honor PIE flags

Merge pull request #4244 from rgacogne/dnsdist-check-cd

dnsdist: Add a `setCD` parameter to set cd=1 on health check queries

Merge pull request #4287 from rgacogne/auth-handle-bad-serial

auth: better handling of invalid serial

Merge pull request #4261 from mind04/ptr

strip trailing dot in PTR content

Merge pull request #4264 from rgacogne/rec-lua-rcode

rec: Set `dq.rcode` before calling postresolve

Merge pull request #4269 from j0ju/master

contrib: simple bash completion for pdnsutil

Merge pull request #4309 from RobinGeuze/addShowTCPStats

Add showTCPStats function

Merge pull request #4314 from ahupowerdns/overload-fix

Overload fix: make overload-queue-length work as intended again, add test for it. Closes #4311.

Merge pull request #4272 from rgacogne/pieterlexis-bind-backend-issues

Bind backend: update status message on reload, keep the existing zone on failure

Merge pull request #4268 from 42wim/doc

Small documentation fix

Merge pull request #4280 from arjenz/master

Fix broken link

Merge pull request #4310 from rgacogne/auth-libressl

Fix build with LibreSSL, for which OPENSSL_VERSION_NUMBER is irrelevant

pipe timeout was equal to sleep(1) in the backend, leading to excessive brittleness.

improve query logging somewhat for bind backend

even longer timeout

make test a bit more robust against travis or slow servers

add a test for the overload limit in the distributor

fix up regression test that got confused by our new counter.

fix distributor overload behaviour, closes #4311. Also adds & documents metric overload-drops. Want to add a test too, not there yet.

Add some documentation

Add showTCPStats function

Fix build with LibreSSL, for which OPENSSL_VERSION_NUMBER is irrelevant

dnsdist: Display the dyn eBPF filters stats in the web interface

Dynamic BPF filters need to be registered to appear in the interface,
and unregistered when not needed anymore.
Automatic registration would mean that dangling dynamic BPF filters could
not be garbage collected without being unregistered first.

Merge pull request #4301 from Habbie/lua-ds-tostring

expose SMN toString to lua

Merge pull request #4300 from Habbie/luacopydnsname

allow newDN to take a DNSName in; document missing methods

Merge pull request #4293 from rubenk/remove-selinux-policy

Remove SELinux policy