Merge pull request #9229 from rgacogne/dnsdist-webserver-allow-from

dnsdist: Implement an ACL in the internal web server

Merge pull request #9238 from rgacogne/ddist-config-sample

dnsdist: Clean up dnsdistconf.lua as a default configuration file

Use example.org instead of powerdns.org in pdns/dnsdistconf.lua

Co-authored-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

Use example.org instead of powerdns.org in pdns/dnsdistconf.lua

Co-authored-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

dnsdist: Clean up dnsdistconf.lua as a default configuration file

Merge pull request #9217 from Habbie/doc-nits-1591715730

auth doc nits

Merge pull request #9228 from mind04/pdns-sqlite-schema

auth: gsqlite3backend: add missing indexes

Merge pull request #9215 from Habbie/pkcs11-fixes

auth: PKCS11 improvements

dnsdist: Parse the new web ACL before clearing the existing one

Otherwise we end up with an empty ACL (everything will be refused)
if the new one is not valid.

Merge pull request #9226 from omoerbeek/rec-fix-shared-cache-pruning

rec: Fix three shared cache issues

Fix three shared cache issues:

- Only prime share cache once on startup

- Cache pruning could go into an infinite loop if not enough expired
entries could be pruned.

- Handler thread isn't run very often, but now the record cache
pruning is done by it, so increase frequency of the housekeeping
call for the handler thread.

auth: gsqlite3backend: add missing indexes
Sqlite3 backend was performing terrible in environments with many updates.
On a slaved root zone the performance increase was huge, 71ms -> 1ms.
Since the lack of proper indexes is causing a lot of trouble in larger environments, I target this update at 4.3.1

Merge pull request #9223 from mind04/pdns-supersomething

auth: use real remote for supermaster createSlaveDomain()

clarify key missing message a bit

auth: use real remote for supermaster createSlaveDomain()

restore flag symmetry

update pkcs11 docs for softhsm2 on Debian Buster

pkcs11 create key: error for unknown algos

rectify zones after securing them

centralise constants

Merge pull request #9211 from rgacogne/ddist-doh-non-blocking

dnsdist: Use non-blocking pipes to pass DoH queries/responses around

dnsdist: Log at verbose level when we couldn't write to the pipe

dnsdist: Implement an ACL in the internal web server

Merge pull request #9214 from omoerbeek/rec-docs-warnins

rec: fix doc generation warnings in recursor.

Merge pull request #9203 from omoerbeek/rec-gettag-answer-rpz

Rec: rpz policy should override gettag_ffi answer by default

Merge pull request #9216 from rgacogne/rec-scan-cname-loop-ref

rec: Don't copy the records when scanning for CNAME loops

Merge pull request #9190 from zeha/psql-prep

gpgsql: Reintroduce prepared statements

Merge pull request #9189 from zeha/query-logging

gpgsqlbackend: add parameters to query logging

Merge pull request #9187 from zeha/systemd-syslog-instances

Set SyslogIdentifier for multiple instances

Merge pull request #9183 from zeha/api-rectify-slave

API: Allow rectifying Slave zones

point to pdnsutil create-bind-db in bind-dnssec-db docs

format metrics example correctly

rec: Don't copy the records when scanning for CNAME loops

circleci: test softhsm

Fix doc generation warnings in recursor.

Fixes #9167.

Merge pull request #9213 from omoerbeek/dnsdist-stringview-ambiguous

Do not use `using namespace std;`

dnsdist: Chck that we don't write more than PIPE_BUF at once on pipes

Do not use using namespace std; it causes ambiguity if
both std::string_view and boost::string_view are in scope

Merge pull request #9202 from omoerbeek/rec-cname-loop

rec: more sophisticated cname loop detection.

Merge pull request #9212 from Habbie/generate-repo-files-master

add master support to generate-repo-files.sh

add master support to generate-repo-files.sh

Do not process passthru in a special way. RPZ hit always takes
precedence unless overridesGettag is set to false.

Merge pull request #9205 from rgacogne/rec-rrsig-ttl

rec: Limit the TTL of RRSIG records as well

Merge pull request #9207 from neheb/string

use std::string_view when available

circle auth: build with pkcs11

auth pkcs11: add ECDSA support, use softhsm2-util, other fixes

dnsdist: Update the tests for the new 'doh-*-pipe-full' metrics

dnsdist: Use non-blocking pipes to pass DoH queries/responses around

This commit makes the internal sockets non-blocking so we don't freeze if
they ever fill up, and log errors/increment metrics instead.

It also replaces the socket pairs by pipes, since the default buffer
size for sockets seems to allow only ~278 pending queries which might
be reached given how libh2o batches events. On Linux, a pipe gives us
8192 pending queries by default due to the lower overhead, and it
can easily be incremented to 131072 pending queries by setting the
pipe size to 1048576. This commits adds a new setting to do just
that.

Docs added

Merge pull request #9204 from rgacogne/rec-doc-gettag-ffi

rec: Better document the gettag hook and its FFI counterpart

Merge pull request #9182 from supervacuus/auth-metrics-endpoint

Implemented prometheus metrics-endpoint for auth

use std::string_view when available

There's a standard C++ macro to check for its existence.

libstdc++ from GCC makes it available under C++17 and up. libcxx from
LLVM makes it available everywhere.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

auth: Declare ring-size metrics as gauges

ring-buffer size metrics are affected in three ways:

* incremented and saturated as items are added
* set to zero, when the ring-buffer is reset
* decremented when the ring-buffer is resized to a smaller capacity
  that cannot hold the number of items currently stored

The latter qualifies ring-buffer size metrics as gauges.

auth: Declare ring-capacity metrics as gauges.

auth: Change StatType for some metrics from counter to gauge

"packetcache-size" and "query-cache-size" are both decremented and
incremented and thus clearly gauges.

"security-status" is an ordered category and thus also qualifies as a
gauge.

Implemented prometheus metrics-endpoint for auth

Merge pull request #9163 from zeha/fix-7795

Optimize IXFR-to-AXFR fallback path

Merge pull request #9040 from Habbie/auth-readme

auth README: some fixes; remove manual doc build instructions

Merge pull request #9180 from Habbie/4.2-changes-8497

auth: add #8497 to changelog

rec: Limit the TTL of RRSIG records as well

rec: Better document the gettag hook and its FFI counterpart

Add a flag to the RPZ indicating if it should override the answer from gettag.
Defaults to true.

First stab at solving the issue when gettag_ffi sets an answer but
we also have an RPZ hit.

Add/modify tests. Also re-check for the cache case. It *is* a bit
unsettling that case causes an ImmediateServFailException, but I do
not like to touch the general flow right now. That would be required
to make the CNAME cache case more similar to the non-cached case.

Merge pull request #8943 from pieterlexis/remote-commit-false

Remote Backend: Throw DBException in functions that allow it

Merge pull request #8995 from kpfleming/local-port-docs

Clarify local-address documentation

Merge pull request #9178 from franklouwers/master

Clarify allow-axfr-ips behaviour in combination with TSIG

Use seperate function to test for loop; empty result vector on loop
detection (like other resolvers I tested  do).

More sophisticated cname loop detection.

Merge pull request #9151 from rgacogne/rec-root-ds

rec: Fix the handling of DS queries for the root

rec: Remove trailing whitespace in a comment

Merge pull request #9194 from omoerbeek/rec-cname-self-referral

rec: If a CNAME target is found in the cache, check if it's equal to qname and ServFail if so.

spgsql: tidy up

Merge pull request #9192 from omoerbeek/rec-depth-incr

rec: Correct depth increments.

If a CNAME target is found in the cache, check if it's equal
to qname and ServFail if so.

Fixes the easy case of #9153. Longer chains with self-refs remain an issue.

Correct depth increments.

With the introduction of qname minimization, a function
doResolveNoQNameMinimization() was introduced. This function is
called by doResolve() with depth incremented. Due to the recursive
nature of the resursor algortihm (Nomen est Omen) we end up
incrementing the depth too much. This prompted a review of the other
places depth was incremented, and I believe it should only be done
when calling doResolve(). Especially the case "+ 2" in the getAddrs()
call looks strange to me, as the doResolve() calls in getAddrs()
already call doResolve() with depth + 1.

This fixes #9184 and likely other cases of deep recursion caused
by long CNAME chains.

gpgsql: Reintroduce prepared statements

And a toggle.

gpgsqlbackend: add parameters to query logging

Addresses #5292 (for postgres only).

API: forbid rectify for presigned zones, only

Update docs/tsig.rst

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #9142 from rgacogne/rec-defer-nod-lookup

rec: Defer the NOD lookup until after the response has been sent

Merge pull request #9172 from rgacogne/rec-rpz-several-ixfr-deltas

rec: Fix RPZ removals when an update has several deltas

Merge pull request #9127 from rgacogne/fix-gethostname-no-hostnamemax

Fix compilation on systems that do not define HOST_NAME_MAX

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

Set SyslogIdentifier for multiple instances

Fixes #8490.

API: Allow rectifying Slave zones

Fixes #9066.

auth: add #8497 to changelog

Clarify allow-axfr-ips behaviour in combination with TSIG

Address feedback from #9176

Merge pull request #9152 from aerique/feature/add-supported-for-unsigned-packages

Make sure we can install unsigned packages.

rec: Add a regression test for the RPZ updates with several deltas

rec: Fix RPZ removals when an update has several deltas

Merge pull request #9160 from Habbie/spelling-only-docs

limit spell checking to docs

Merge pull request #9166 from cmouse/patch-1590648655

opensslsigners: Add missing 'static' keyword

Merge pull request #9162 from jsoref/clarify-docs

Clarify docs

opensslsigners: Add missing 'static' keyword

openssl_pthreads_locking_callback and openssl_pthreads_id_callback are
local functions, so they need static.

Optimize IXFR-to-AXFR fallback path

Avoid making new backends when we are going to either deny the XFR, or
fall back to AXFR anyway.

This cuts down the number of new backends from four (three for IXFR
pre-checks plus one for AXFR) to one (just the AXFR one).
When replying in IXFR mode, we keep making _one_ new backend, which is
also better than before.

While we now hold the s_plock for a while longer, we only take it once
in doIXFR; before we took it twice -- for TSIG retrieval, which now
re-uses the IXFR backend.

rewrite pdns-distributes-queries

spellcheck: only run when docs have been changed

clarify: reuseports behavior re worker threads