Tidy declaration of new exitCode field

we gained an extra AAAA record in the cache

Tell other threads to stop when a fatal issue occurs.

Theer are more spots where this should be done.

tests: detect IPv6

qla-v6 outgoing: increase chance of catching errors

rec: Clean up QLA

Let the threads returns an error code if someting is wrong
which is picked up by serviceMain as an exit status.

There are a lot more places where the (fatal) error flow could be
improved/made consistent.

Better error handling: return a bool and let caller decide.

rec: Fix IPv6-outgoing-only zero-scope ECS test

The recursor uses the outgoing address family to set the ECS address to
a localhost address when a client indicates that it wants no ECS (by
setting the all-zero scope).

Now that we _actually_ do v6-only outgoing when requested by configuration,
we need the regression test auths to listen on v6.

This change to the regression tests makes the ROOT auth listen on
[::1]:53, adds the hints, and for the ECS test, starts an IPv6 ECS
echo responder on [::1]:53000 and uses that address for the
forward-zone.

Check usefullness of root hints.

e.g. if we are running IPv6 only, and only have IPv4 hints
things will not work. Base he decision on presence of A/AAAA
records mentioned as NS.

Fix test that used qla

rec: Disable outgoing v4 when QLA has no v4 addresses

Merge pull request #9289 from omoerbeek/rec-tcp-error-warnings

rec: common TCP write problems should only be logged if wanted.

Merge pull request #9288 from rgacogne/rec-negcache-dump-authority

rec: Dump the authority records of a negative cache entry as well

Merge pull request #9278 from rgacogne/ddist-doh-self-cleanup-vect

dnsdist: Prevent race between the DoH handling threads

rec: Dump the actual name of SOA and NSEC{,3} negative cache entries

Fix zone

Merge pull request #9287 from omoerbeek/rec-prep-20200701

rec: prep for 20200701 releases

Common TCP write problems should only be logged if wanted.

rec: Dump the authority records of a negative cache entry as well

Fill in PRs now the numbers are known, plus a few corrections of old entries

Prep for upcoming 4.1.17, 4.2.3, and 4.3.2 release

Merge pull request #9237 from rgacogne/rec-nxd-ent-denial

rec: Don't validate a NXD with a NSEC proving that the name is an ENT

Merge pull request #9282 from omoerbeek/rec-acl

rec: fix acl handling

rec: Add a regression test for the 'webserver-allow-from' ACL

dnsdist: Don't access the DoH object except from the main thread

Merge pull request #9277 from omoerbeek/rec-rec_control_timeout

rec: zero means no timeout.

Zero means no timeout.

Merge pull request #9276 from Habbie/rec-authzones-doc-nit

recursor: clarify that auth-zones are not served with an AA bit

dnsdist: Prevent a cleanup race between the DOHUnit and the request pool

- clean up the pointer in pool memory when releasing a DOHUnit so that we
  don't try to access it later when the memory pool is destroyed ;
- clean up the 'self' pointer when the memory pool is destroyed so we
  don't try to access it when the DOHUnit is released.

Merge pull request #9169 from mind04/pdns-metadata-any

auth: fetch all metadata at once

recursor: clarify that auth-zones are not served with an AA bit

Merge pull request #9272 from omoerbeek/rec-ds-cname-cache

rec: alternative way to do "skip cname check" for DS and DNSKEY records.

Test the DS/DNSKEY condition at the proper spot.

Draft to study alternative way to do "skip cname check" for DS and
DNSKEY records.

The current code effectively disables lookup of cached CNAME results
for zone cut computations, which results in more queries than needed.

Should fix #9266 or at least give more insight.

Needs critical eyes badly!

Merge pull request #9269 from rgacogne/ddist-debug-tcp-limits-failures

dnsdist: Debug failures in the TCP Limits regression test on Circle

Merge pull request #9268 from rgacogne/rec-exceptions

rec: Better exception handling in houseKeeping / handlePolicyHit

dnsdist: Debug failures in the TCP Limits regression test on Circle

This test keeps failing on Circle CI but never locally, so let's try
to add some debug.

rec: Better exception handling in handlePolicyHit()

An ImmediateServFailException being raised during the call to
SyncRes::beginResolve() from handleRPZCustom() could lead to
the resolution process to stop without any response being sent:

Any other exception in a resolver context (www.example.net/A from 127.0.0.1:4242)

This commit turns into a ServFail answer instead.

rec: Better exception handling in houseKeeping

An uncaugth exception being raised in houseKeeping could prevent it
from being run again because 's_running' would stay true. That could
for example happen when an ImmediateServFailException was raised during
a call to primeRootNSZones().

Merge pull request #9256 from jsoref/spell-check-pr

spell-check: check pull requests

update spelling after merge of #9240

Merge pull request #9240 from LordGaav/add-cockroachdb-docs

Add instructions for running PowerDNS on CockroachDB using generic pgsql

Merge pull request #9267 from omoerbeek/rec-prime-depth

rec: Control stack depth when priming.

Merge pull request #9259 from Habbie/support-link

github issue chooser: add link to support page

Control stack depth when priming.

If you clear the cache for . in a tight loop, the priming code gets
called recursively in an unbounded fashion. This keeps track of the
stack depth and ServFails if needed.

Merge pull request #9252 from pieterlexis/version-stat

Add version 'statistic' to prometheus

Merge pull request #9260 from rgacogne/remove-der-eater

Remove the thankfully not used anymore DEReater class

Merge pull request #9236 from omoerbeek/cachecleaner-cleanup

Cleanup cache cleaner pruneCollection function

Merge pull request #9255 from rgacogne/ddist-1.5.0-rc3

dnsdist: Update the ChangeLog and the secpoll zone for 1.5.0-rc3

Clarify what index to skip

Remove duplicate PRIMARY KEY statement

Merge pull request #9253 from Habbie/pdnsutil-run-destructors

pdnsutil: make sure we let all destructors run. Fixes #4973

Merge pull request #9251 from rgacogne/rec-copy-negcache-entry

rec: Copy the negative cache entry before validating it

github issue chooser: add link to support page

Remove the thankfully not used anymore DEReater class

Merge pull request #9254 from rgacogne/ddist-clarify-webserver-acl

dnsdist: Better examples for the webserver's ACL

spell-check: check pull requests

Merge pull request #9250 from tokred/docs-updatepolicy-wiki

auth: Link to pdns Wiki for updatescript examples

dnsdist: Add #9244 to the ChangeLog

Merge pull request #9244 from rgacogne/ddist-kvs-masked-lookups

dnsdist: Add optional masks to KeyValueLookupKeySourceIP

dnsdist: Update the ChangeLog and the secpoll zone for 1.5.0-rc3

dnsdist: Better examples for the webserver's ACL

pdnsutil: make sure we let all destructors run. Fixes #4973

rec: Copy entries retrieved from the negative cache right away

The optimization of not copying the entry until we actually decide
to use it seemed nice, but the resulting interface is too brittle.
It requires not keeping the pointer around if there is any chance
that we could yield by going to the network, which is hard to keep
track of in the recursor.

rec: Copy the negative cache entry before validating it

Otherwise, in the unlikely case that:
- we need to go to the network in order to validate, for example to
  get or a DNSKEY ;
- the negative cache cleaning is run at that exact moment ;
- and the entry we have a pointer to gets wiped during that cleanup

we might trigger a heap-based use-after-free (read), possibly leading
to a crash if the memory has been reused already.

auth: Link to pdns Wiki for updatescript examples

auth: Add version as prometheus metric

rec: Add version info to prometheus statistics

dnsdist: Add prometheus metric for version number

Merge pull request #9229 from rgacogne/dnsdist-webserver-allow-from

dnsdist: Implement an ACL in the internal web server

Merge pull request #9238 from rgacogne/ddist-config-sample

dnsdist: Clean up dnsdistconf.lua as a default configuration file

dnsdist: Add optional masks to KeyValueLookupKeySourceIP

Use example.org instead of powerdns.org in pdns/dnsdistconf.lua

Co-authored-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

Use example.org instead of powerdns.org in pdns/dnsdistconf.lua

Co-authored-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

Add instructions for running PowerDNS on CockroachDB using generic pgsql

dnsdist: Clean up dnsdistconf.lua as a default configuration file

rec: Don't validate a NXD with a NSEC proving that the name is an ENT

A NSEC from a.powerdns.com. to a.b.powerdns.com. proves that
b.powerdns.com. exists and is an empty non terminal, so it cannot be
used to prove that b.powerdns.com. does not exist.

Cleanup cache cleaner pruneCollection function
- use size_t instead of unsigned int for sizes
- const correctness
- layout
- simplify seond loop and use return value of erase(), it points to the next value

Merge pull request #9217 from Habbie/doc-nits-1591715730

auth doc nits

Merge pull request #9228 from mind04/pdns-sqlite-schema

auth: gsqlite3backend: add missing indexes

Merge pull request #9215 from Habbie/pkcs11-fixes

auth: PKCS11 improvements

dnsdist: Parse the new web ACL before clearing the existing one

Otherwise we end up with an empty ACL (everything will be refused)
if the new one is not valid.

Merge pull request #9226 from omoerbeek/rec-fix-shared-cache-pruning

rec: Fix three shared cache issues

Fix three shared cache issues:

- Only prime share cache once on startup

- Cache pruning could go into an infinite loop if not enough expired
entries could be pruned.

- Handler thread isn't run very often, but now the record cache
pruning is done by it, so increase frequency of the housekeeping
call for the handler thread.

auth: gsqlite3backend: add missing indexes
Sqlite3 backend was performing terrible in environments with many updates.
On a slaved root zone the performance increase was huge, 71ms -> 1ms.
Since the lack of proper indexes is causing a lot of trouble in larger environments, I target this update at 4.3.1

Merge pull request #9223 from mind04/pdns-supersomething

auth: use real remote for supermaster createSlaveDomain()

clarify key missing message a bit

auth: use real remote for supermaster createSlaveDomain()

restore flag symmetry

update pkcs11 docs for softhsm2 on Debian Buster

pkcs11 create key: error for unknown algos

rectify zones after securing them

centralise constants

Merge pull request #9211 from rgacogne/ddist-doh-non-blocking

dnsdist: Use non-blocking pipes to pass DoH queries/responses around

dnsdist: Log at verbose level when we couldn't write to the pipe

dnsdist: Implement an ACL in the internal web server

Merge pull request #9214 from omoerbeek/rec-docs-warnins

rec: fix doc generation warnings in recursor.

Merge pull request #9203 from omoerbeek/rec-gettag-answer-rpz

Rec: rpz policy should override gettag_ffi answer by default

Merge pull request #9216 from rgacogne/rec-scan-cname-loop-ref

rec: Don't copy the records when scanning for CNAME loops