dnsdist: Implement an ACL in the internal web server

Merge pull request #9213 from omoerbeek/dnsdist-stringview-ambiguous

Do not use `using namespace std;`

Do not use using namespace std; it causes ambiguity if
both std::string_view and boost::string_view are in scope

Merge pull request #9202 from omoerbeek/rec-cname-loop

rec: more sophisticated cname loop detection.

Merge pull request #9212 from Habbie/generate-repo-files-master

add master support to generate-repo-files.sh

add master support to generate-repo-files.sh

Merge pull request #9205 from rgacogne/rec-rrsig-ttl

rec: Limit the TTL of RRSIG records as well

Merge pull request #9207 from neheb/string

use std::string_view when available

Merge pull request #9204 from rgacogne/rec-doc-gettag-ffi

rec: Better document the gettag hook and its FFI counterpart

Merge pull request #9182 from supervacuus/auth-metrics-endpoint

Implemented prometheus metrics-endpoint for auth

use std::string_view when available

There's a standard C++ macro to check for its existence.

libstdc++ from GCC makes it available under C++17 and up. libcxx from
LLVM makes it available everywhere.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

auth: Declare ring-size metrics as gauges

ring-buffer size metrics are affected in three ways:

* incremented and saturated as items are added
* set to zero, when the ring-buffer is reset
* decremented when the ring-buffer is resized to a smaller capacity
  that cannot hold the number of items currently stored

The latter qualifies ring-buffer size metrics as gauges.

auth: Declare ring-capacity metrics as gauges.

auth: Change StatType for some metrics from counter to gauge

"packetcache-size" and "query-cache-size" are both decremented and
incremented and thus clearly gauges.

"security-status" is an ordered category and thus also qualifies as a
gauge.

Implemented prometheus metrics-endpoint for auth

Merge pull request #9163 from zeha/fix-7795

Optimize IXFR-to-AXFR fallback path

Merge pull request #9040 from Habbie/auth-readme

auth README: some fixes; remove manual doc build instructions

Merge pull request #9180 from Habbie/4.2-changes-8497

auth: add #8497 to changelog

rec: Limit the TTL of RRSIG records as well

rec: Better document the gettag hook and its FFI counterpart

Add/modify tests. Also re-check for the cache case. It *is* a bit
unsettling that case causes an ImmediateServFailException, but I do
not like to touch the general flow right now. That would be required
to make the CNAME cache case more similar to the non-cached case.

Merge pull request #8943 from pieterlexis/remote-commit-false

Remote Backend: Throw DBException in functions that allow it

Merge pull request #8995 from kpfleming/local-port-docs

Clarify local-address documentation

Merge pull request #9178 from franklouwers/master

Clarify allow-axfr-ips behaviour in combination with TSIG

Use seperate function to test for loop; empty result vector on loop
detection (like other resolvers I tested  do).

More sophisticated cname loop detection.

Merge pull request #9151 from rgacogne/rec-root-ds

rec: Fix the handling of DS queries for the root

rec: Remove trailing whitespace in a comment

Merge pull request #9194 from omoerbeek/rec-cname-self-referral

rec: If a CNAME target is found in the cache, check if it's equal to qname and ServFail if so.

Merge pull request #9192 from omoerbeek/rec-depth-incr

rec: Correct depth increments.

If a CNAME target is found in the cache, check if it's equal
to qname and ServFail if so.

Fixes the easy case of #9153. Longer chains with self-refs remain an issue.

Correct depth increments.

With the introduction of qname minimization, a function
doResolveNoQNameMinimization() was introduced. This function is
called by doResolve() with depth incremented. Due to the recursive
nature of the resursor algortihm (Nomen est Omen) we end up
incrementing the depth too much. This prompted a review of the other
places depth was incremented, and I believe it should only be done
when calling doResolve(). Especially the case "+ 2" in the getAddrs()
call looks strange to me, as the doResolve() calls in getAddrs()
already call doResolve() with depth + 1.

This fixes #9184 and likely other cases of deep recursion caused
by long CNAME chains.

Update docs/tsig.rst

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #9142 from rgacogne/rec-defer-nod-lookup

rec: Defer the NOD lookup until after the response has been sent

Merge pull request #9172 from rgacogne/rec-rpz-several-ixfr-deltas

rec: Fix RPZ removals when an update has several deltas

Merge pull request #9127 from rgacogne/fix-gethostname-no-hostnamemax

Fix compilation on systems that do not define HOST_NAME_MAX

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

auth: add #8497 to changelog

Clarify allow-axfr-ips behaviour in combination with TSIG

Address feedback from #9176

Merge pull request #9152 from aerique/feature/add-supported-for-unsigned-packages

Make sure we can install unsigned packages.

rec: Add a regression test for the RPZ updates with several deltas

rec: Fix RPZ removals when an update has several deltas

Merge pull request #9160 from Habbie/spelling-only-docs

limit spell checking to docs

Merge pull request #9166 from cmouse/patch-1590648655

opensslsigners: Add missing 'static' keyword

Merge pull request #9162 from jsoref/clarify-docs

Clarify docs

opensslsigners: Add missing 'static' keyword

openssl_pthreads_locking_callback and openssl_pthreads_id_callback are
local functions, so they need static.

Optimize IXFR-to-AXFR fallback path

Avoid making new backends when we are going to either deny the XFR, or
fall back to AXFR anyway.

This cuts down the number of new backends from four (three for IXFR
pre-checks plus one for AXFR) to one (just the AXFR one).
When replying in IXFR mode, we keep making _one_ new backend, which is
also better than before.

While we now hold the s_plock for a while longer, we only take it once
in doIXFR; before we took it twice -- for TSIG retrieval, which now
re-uses the IXFR backend.

rewrite pdns-distributes-queries

spellcheck: only run when docs have been changed

clarify: reuseports behavior re worker threads

Wishy-washy

Update recursordist: reuseport

we keep allowing these words so that we can do incidental spellchecks later

remove spelling cron; limit spelling to docs

Add `--nobest` when installing PDNS software.

This is for testing in Docker images, we just want them to build.

Make sure we can install unsigned packages.

Sometimes we need to install unsigned packages from our own ad-hoc repo,
installing `apt-transport-https` makes sure we can do this (at least on
Debian Stretch).

rec: Defer the NOD lookup until after the response has been sent

If the NOD lookup is slow, for example because the destination
authoritative server is down, doing the NOD lookup before the response
has been sent increases the latency a lot.
This commit moves the actual NOD lookup after the response has been
sent, so we can still use the existing mthread (we might actually need
to do a proper DNS resolution to find the target authoritative server)
without keeping the client waiting.

rec: Fix formatting in the "root DS" unit test

Merge pull request #9141 from rgacogne/rec-remove-getquerylocaladdress-stub

rec: Remove unused getQueryLocalAddress stub in the unit tests

rec: Fix the handling of DS queries for the root

Merge pull request #9143 from Habbie/travis-unbreak-trusty

travis: install pdns package from direct download

travis: install pdns package from direct download

rec: Remove unused getQueryLocalAddress stub in the unit tests

The real function moved to the pdns namespace anyway.

Merge pull request #9137 from phonedph1/patch-21

rec: Update syncres.cc

Merge pull request #9138 from PowerDNS/omoerbeek-patch-1

rec: Typos and ref to rec instead of auth in security advisory

Typos and ref to rec instead of auth

Update syncres.cc

Merge pull request #9134 from omoerbeek/secpoll-cleanup

Secpoll cleanup, mark prereleases with vulnerabilities as such.

Secpoll cleanup, mark prereleases with vulnerabilities as such.

Merge pull request #9131 from mnordhoff/patch-6

rec: docs: Update the allow-from setting default

rec: docs: Update the allow-from setting default.

The default is LOCAL_NETS, but the copy of it in the documentation was incomplete.

Merge pull request #9111 from omoerbeek/dnsreplay-loop

Support LOOP link type in dnsreplay

Merge pull request #9126 from omoerbeek/rec-4.1.16-secpoll

Prepare rec 4.1.16 secpoll update

Prepare rec 4.1.16 secpoll update

Correct spelling error

Render examples as preformatted text

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Address review feedback.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Clarify local-address documentation

The 'local-address' setting accepts both IPv4 and IPv6 addresses,
and also accepts port numbers. This patch documents all of those
behaviors.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Merge pull request #9124 from rgacogne/powerdns-advisory-2020-002

rec: powerdns-advisory-2020-002 -> powerdns-advisory-2020-02

rec: powerdns-advisory-2020-002 -> powerdns-advisory-2020-02

Merge pull request #9118 from pieterlexis/fix-rec-docs

Fix LaTeX-pdns recursor docs

Merge pull request #9119 from omoerbeek/fix-formatting

fix formatting

fix formatting

Add names and vars to spelling whitelist

Fix LaTeX-pdns recursor docs

Merge pull request #9114 from pieterlexis/rec-may-2020

Recursor fixes May 2020

Merge pull request #9113 from pieterlexis/rec-prep-may-2020

rec: prep for May 2020 releases

rec: prep for May 2020 security releases

Merge pull request #9106 from omoerbeek/release-cycles

Tell about the release cycles.

Merge pull request #8940 from pieterlexis/resolver-query-local-address6

Merge query-local-address6 into query-local-address

"Adress" is actually prural in query-local-address

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #9073 from pieterlexis/runtime-dirs-virtual-hosting

Ensure runtime dirs for virtual services differ

Merge pull request #9085 from zeha/config

builder: improve shipped config files

Tell about the release cycles.

Merge pull request #9107 from jsoref/spell-check

Update check-spelling to 0.0.16-a

Update expects

spelling: Wshadow

Ignore c(xx)flags

spelling: with