rec: A ServFail while retrieving DS/DNSKEY records is just that

Before that commit, failing to get the DS or DNSKEY records needed
during validation because of a network issue would trigger a Bogus
DNSSEC validation result because validation could not be performed,
but that should just be a Server Failure instead.
This is especially an issue because the Bogus result would get
inserted into the cache and could stay there for as long as
'max-cache-bogus-ttl' seconds.

Merge pull request #9282 from omoerbeek/rec-acl

rec: fix acl handling

rec: Add a regression test for the 'webserver-allow-from' ACL

Merge pull request #9277 from omoerbeek/rec-rec_control_timeout

rec: zero means no timeout.

Zero means no timeout.

Merge pull request #9276 from Habbie/rec-authzones-doc-nit

recursor: clarify that auth-zones are not served with an AA bit

Merge pull request #9169 from mind04/pdns-metadata-any

auth: fetch all metadata at once

recursor: clarify that auth-zones are not served with an AA bit

Merge pull request #9272 from omoerbeek/rec-ds-cname-cache

rec: alternative way to do "skip cname check" for DS and DNSKEY records.

Test the DS/DNSKEY condition at the proper spot.

Draft to study alternative way to do "skip cname check" for DS and
DNSKEY records.

The current code effectively disables lookup of cached CNAME results
for zone cut computations, which results in more queries than needed.

Should fix #9266 or at least give more insight.

Needs critical eyes badly!

Merge pull request #9269 from rgacogne/ddist-debug-tcp-limits-failures

dnsdist: Debug failures in the TCP Limits regression test on Circle

Merge pull request #9268 from rgacogne/rec-exceptions

rec: Better exception handling in houseKeeping / handlePolicyHit

dnsdist: Debug failures in the TCP Limits regression test on Circle

This test keeps failing on Circle CI but never locally, so let's try
to add some debug.

rec: Better exception handling in handlePolicyHit()

An ImmediateServFailException being raised during the call to
SyncRes::beginResolve() from handleRPZCustom() could lead to
the resolution process to stop without any response being sent:

Any other exception in a resolver context (www.example.net/A from 127.0.0.1:4242)

This commit turns into a ServFail answer instead.

rec: Better exception handling in houseKeeping

An uncaugth exception being raised in houseKeeping could prevent it
from being run again because 's_running' would stay true. That could
for example happen when an ImmediateServFailException was raised during
a call to primeRootNSZones().

Merge pull request #9256 from jsoref/spell-check-pr

spell-check: check pull requests

update spelling after merge of #9240

Merge pull request #9240 from LordGaav/add-cockroachdb-docs

Add instructions for running PowerDNS on CockroachDB using generic pgsql

Merge pull request #9267 from omoerbeek/rec-prime-depth

rec: Control stack depth when priming.

Merge pull request #9259 from Habbie/support-link

github issue chooser: add link to support page

Control stack depth when priming.

If you clear the cache for . in a tight loop, the priming code gets
called recursively in an unbounded fashion. This keeps track of the
stack depth and ServFails if needed.

Merge pull request #9252 from pieterlexis/version-stat

Add version 'statistic' to prometheus

Merge pull request #9260 from rgacogne/remove-der-eater

Remove the thankfully not used anymore DEReater class

Merge pull request #9236 from omoerbeek/cachecleaner-cleanup

Cleanup cache cleaner pruneCollection function

Merge pull request #9255 from rgacogne/ddist-1.5.0-rc3

dnsdist: Update the ChangeLog and the secpoll zone for 1.5.0-rc3

Clarify what index to skip

Remove duplicate PRIMARY KEY statement

Merge pull request #9253 from Habbie/pdnsutil-run-destructors

pdnsutil: make sure we let all destructors run. Fixes #4973

Merge pull request #9251 from rgacogne/rec-copy-negcache-entry

rec: Copy the negative cache entry before validating it

github issue chooser: add link to support page

Remove the thankfully not used anymore DEReater class

Merge pull request #9254 from rgacogne/ddist-clarify-webserver-acl

dnsdist: Better examples for the webserver's ACL

spell-check: check pull requests

Merge pull request #9250 from tokred/docs-updatepolicy-wiki

auth: Link to pdns Wiki for updatescript examples

dnsdist: Add #9244 to the ChangeLog

Merge pull request #9244 from rgacogne/ddist-kvs-masked-lookups

dnsdist: Add optional masks to KeyValueLookupKeySourceIP

dnsdist: Update the ChangeLog and the secpoll zone for 1.5.0-rc3

dnsdist: Better examples for the webserver's ACL

pdnsutil: make sure we let all destructors run. Fixes #4973

rec: Copy entries retrieved from the negative cache right away

The optimization of not copying the entry until we actually decide
to use it seemed nice, but the resulting interface is too brittle.
It requires not keeping the pointer around if there is any chance
that we could yield by going to the network, which is hard to keep
track of in the recursor.

rec: Copy the negative cache entry before validating it

Otherwise, in the unlikely case that:
- we need to go to the network in order to validate, for example to
  get or a DNSKEY ;
- the negative cache cleaning is run at that exact moment ;
- and the entry we have a pointer to gets wiped during that cleanup

we might trigger a heap-based use-after-free (read), possibly leading
to a crash if the memory has been reused already.

auth: Link to pdns Wiki for updatescript examples

auth: Add version as prometheus metric

rec: Add version info to prometheus statistics

dnsdist: Add prometheus metric for version number

Merge pull request #9229 from rgacogne/dnsdist-webserver-allow-from

dnsdist: Implement an ACL in the internal web server

Merge pull request #9238 from rgacogne/ddist-config-sample

dnsdist: Clean up dnsdistconf.lua as a default configuration file

dnsdist: Add optional masks to KeyValueLookupKeySourceIP

Use example.org instead of powerdns.org in pdns/dnsdistconf.lua

Co-authored-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

Use example.org instead of powerdns.org in pdns/dnsdistconf.lua

Co-authored-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

Add instructions for running PowerDNS on CockroachDB using generic pgsql

dnsdist: Clean up dnsdistconf.lua as a default configuration file

Cleanup cache cleaner pruneCollection function
- use size_t instead of unsigned int for sizes
- const correctness
- layout
- simplify seond loop and use return value of erase(), it points to the next value

Merge pull request #9217 from Habbie/doc-nits-1591715730

auth doc nits

Merge pull request #9228 from mind04/pdns-sqlite-schema

auth: gsqlite3backend: add missing indexes

Merge pull request #9215 from Habbie/pkcs11-fixes

auth: PKCS11 improvements

dnsdist: Parse the new web ACL before clearing the existing one

Otherwise we end up with an empty ACL (everything will be refused)
if the new one is not valid.

Merge pull request #9226 from omoerbeek/rec-fix-shared-cache-pruning

rec: Fix three shared cache issues

Fix three shared cache issues:

- Only prime share cache once on startup

- Cache pruning could go into an infinite loop if not enough expired
entries could be pruned.

- Handler thread isn't run very often, but now the record cache
pruning is done by it, so increase frequency of the housekeeping
call for the handler thread.

auth: gsqlite3backend: add missing indexes
Sqlite3 backend was performing terrible in environments with many updates.
On a slaved root zone the performance increase was huge, 71ms -> 1ms.
Since the lack of proper indexes is causing a lot of trouble in larger environments, I target this update at 4.3.1

Merge pull request #9223 from mind04/pdns-supersomething

auth: use real remote for supermaster createSlaveDomain()

clarify key missing message a bit

auth: use real remote for supermaster createSlaveDomain()

restore flag symmetry

update pkcs11 docs for softhsm2 on Debian Buster

pkcs11 create key: error for unknown algos

rectify zones after securing them

centralise constants

Merge pull request #9211 from rgacogne/ddist-doh-non-blocking

dnsdist: Use non-blocking pipes to pass DoH queries/responses around

dnsdist: Log at verbose level when we couldn't write to the pipe

dnsdist: Implement an ACL in the internal web server

Merge pull request #9214 from omoerbeek/rec-docs-warnins

rec: fix doc generation warnings in recursor.

Merge pull request #9203 from omoerbeek/rec-gettag-answer-rpz

Rec: rpz policy should override gettag_ffi answer by default

Merge pull request #9216 from rgacogne/rec-scan-cname-loop-ref

rec: Don't copy the records when scanning for CNAME loops

Merge pull request #9190 from zeha/psql-prep

gpgsql: Reintroduce prepared statements

Merge pull request #9189 from zeha/query-logging

gpgsqlbackend: add parameters to query logging

Merge pull request #9187 from zeha/systemd-syslog-instances

Set SyslogIdentifier for multiple instances

Merge pull request #9183 from zeha/api-rectify-slave

API: Allow rectifying Slave zones

point to pdnsutil create-bind-db in bind-dnssec-db docs

format metrics example correctly

rec: Don't copy the records when scanning for CNAME loops

circleci: test softhsm

Fix doc generation warnings in recursor.

Fixes #9167.

Merge pull request #9213 from omoerbeek/dnsdist-stringview-ambiguous

Do not use `using namespace std;`

dnsdist: Chck that we don't write more than PIPE_BUF at once on pipes

Do not use using namespace std; it causes ambiguity if
both std::string_view and boost::string_view are in scope

Merge pull request #9202 from omoerbeek/rec-cname-loop

rec: more sophisticated cname loop detection.

Merge pull request #9212 from Habbie/generate-repo-files-master

add master support to generate-repo-files.sh

add master support to generate-repo-files.sh

Do not process passthru in a special way. RPZ hit always takes
precedence unless overridesGettag is set to false.

Merge pull request #9205 from rgacogne/rec-rrsig-ttl

rec: Limit the TTL of RRSIG records as well

Merge pull request #9207 from neheb/string

use std::string_view when available

circle auth: build with pkcs11

auth pkcs11: add ECDSA support, use softhsm2-util, other fixes

dnsdist: Update the tests for the new 'doh-*-pipe-full' metrics

dnsdist: Use non-blocking pipes to pass DoH queries/responses around

This commit makes the internal sockets non-blocking so we don't freeze if
they ever fill up, and log errors/increment metrics instead.

It also replaces the socket pairs by pipes, since the default buffer
size for sockets seems to allow only ~278 pending queries which might
be reached given how libh2o batches events. On Linux, a pipe gives us
8192 pending queries by default due to the lower overhead, and it
can easily be incremented to 131072 pending queries by setting the
pipe size to 1048576. This commits adds a new setting to do just
that.

Docs added

Merge pull request #9204 from rgacogne/rec-doc-gettag-ffi

rec: Better document the gettag hook and its FFI counterpart

Merge pull request #9182 from supervacuus/auth-metrics-endpoint

Implemented prometheus metrics-endpoint for auth