Merge pull request #9716 from rgacogne/webserver-accept-yaml

Fix initialization of WebServer::accept_yaml

Fix initialization of WebServer::accept_yaml

Merge pull request #9633 from omoerbeek/rec-opensbd-udpsockets

rec: two OpenBSD improvemenst wrt UDP sockets: port randomization and EGAIN errors

Merge pull request #9643 from omoerbeek/rec-add-some-deps

rec: add a few missing dependencies to README

Merge pull request #9707 from omoerbeek/rec-chain-already-processing

rec: Do not add request to a wait chain that's already processed or being processed

Improved wording of comments

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Remove all documentation irrelevant after 4.4.0

This removes settings that no longer exist since 4.2.0, and removes any
statements of settings and docs that were added or changed in 4.2.0 and below.

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth mysql: disable automatic charset detection

auth regress: allow per-backend test skipping

Allow ip ranges as trusted-notification-proxy

This also stops us from doing string comparison for that setting.

Fixes #9711

Merge pull request #8911 from kpfleming/add-api-docs-endpoint

Add '/api/docs' endpoint to Auth server

Merge pull request #9688 from mind04/pdns-loglevel

Pdns AXFR, IXFR loglevels

auth: make notify logging less verbose

auth: make primary logging less verbose

auth regression docs: more mysql variants

Do not add request to a wait chain that's already processed or being processed.

The following scenario can occur. Multiple concurrent clients doing the same query A
are needed to trigger it:

1. Incoming request A, which has a need for request X
2. Add request X to chain because we already have an identical outstanding request
3. We receive the reply for X
4. We process the chain
5. In the meantime a new request for X that's identical is added to the chain
6. The added id in step 5 is not being processed anymore -> timeout

This can happen if request X has TTL 0, otherwise the record cache would have a hit.

Merge pull request #9700 from pieterlexis/docker-release-builds

Allow setting a fake-ish version number when building release images

Add a few comments as suggested by Habbie

Merge pull request #9697 from Habbie/rec-nod-oversize

rec: do not send overly long NOD lookups

auth: Add /api/docs endpoint to obtain OpenAPI document

This patch adds an /api/docs endpoint to the API webserver,
allowing clients to obtain the OpenAPI (Swagger) document that
describes the server's API directly from the server.

It also modifies the response body mechanism in the webserver
to no longer assume JSON output, but allow handlers to specify
JSON, YAML, or plain text. It also adds detection of YAML
support in the request so that handlers can choose which type
to send in their response. Since there is not yet a standard
MIME type for YAML, 'application/x-yaml' is used since it
appears to be the most commonly used type.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Merge pull request #9698 from omoerbeek/namespace-rampage

namespaces.hh cleanup

Merge pull request #9696 from rgacogne/rec-fakeaaa-cname-loop

rec: Avoid a CNAME loop detection issue with DNS64

Allow setting a fake-ish version number when building release images

Merge pull request #8608 from criteo-forks/custom_placeholder

geoipbackend: accept custom lookup mapping

rec: do not send overly long NOD lookups

Unscoped tie should come from boost for now

Keep on using boost::tuple, switching to std::tuple introduces
a few issues.

Include less in namespaces.hh and use more std::;
boost stuff now needs explicit scoping.

Merge pull request #9694 from pieterlexis/docker-improvements

Several docker image improvements

dnsdist: Fix the sorting of dnsdist's source files in Makefile.am

rec: Add a regression test for the DNS64 CNAME loop detection issue

rec: Avoid a CNAME loop detection issue with DNS64

When the requested qname is a CNAME to a second CNAME, the CNAME
loop detection might get incorrectly triggered because the CNAMEs
were already present in the vector of result records.

Merge pull request #9630 from omoerbeek/rec-protozero

Rec: start using protozero to create protobuf messages

dnsdist: Better handling of reconnection failures

mplexer: Add a method to inspect the monitored descriptors

dnsdist: Fix tcpGaveUp and tcpDownstreamTimeout counters

dnsdist: Mark the TCP downstream connection as fresh after reconnecting

dnsdist: Account for outstanding TCP queries

dnsdist: Try to send before calling epoll_wait

It usually works and saves adding the descriptor to the set, calling
epoll_wait() then removing the descriptor.

dnsdist: Add 'hasBufferedData' method to TCPIOHandler

dnsdist: Only copy what we need from the response buffer

dnsdist: Use the more efficient epoll update mechanism

Directly switch between read/write epoll states

Altering an existing state instead of removing then adding it back
saves a call to `epoll_ctl()`.

dnsdist: Use a counter for pipelined TCP queries

It turns out that collisions do happen with a random ID.

dnsdist: Decrement the number of pending queries on error

dnsdist: Gracefully handle dnsdist closing the test backend connection

dnsdist: Better handling of read timeouts when we have responses

dnsdist: Fix sending queued responses after reading a query

dnsdist: Add some tests for out of order processing

dnsdist: Match backend connections on the backend, not its address

dnsdist: Fix the accounting of 'active' connections

dnsdist: Add 'maxInFlight' parameter to 'newServer()' and '*Local()'

dnsdist: Try to reuse active connections

dnsdist: TCP out-of-order implementation

Merge pull request #9689 from rgacogne/ddist-fix-ebpf-long-names

dnsdist: Fix eBPF filtering of long qnames

Merge pull request #9676 from rgacogne/dnsdist-lua-web-hooks

dnsdist: Implement Lua custom web endpoints

Merge pull request #9677 from rgacogne/ddist-log-tcp-size

dnsdist: Add the query payload size to the verbose log over TCP

Merge pull request #9678 from rgacogne/ddist-htmlfiles-dep

dnsdist: Add incfiles as a dependency to htmlfiles.h

Merge pull request #9686 from omoerbeek/rec-x-our-latency-is-gauge

rec: x-our-latency is a gauge

Do not access pbData members if pbData is boost::none, spotted by @rgacogne

Sort sources

Embedding the Message in an optional is not working properly,
somewhere move or copy semantics are violated.

To avoid heap allocatiom, move the a scheme where we always have a
Message. Later we can change the buffers to be thead-local as well.

Fix reserve botch, as noted by @rgacogne

Suggestions by @rgacogne

Use move semantics for putting things in packetcache and
tweak sizes to a better estimate, taking into account that the
final message will *include* the reponse part.

Spelling

Add a comment: should we add the udr flag if !udrEnabled?

Print appliedPolicyTrigger and appliedPolicyHit

Handle NOD flag in rr data

Adapt the regression test to allow absense of deviceName etc.

Checked with Wojas that this should be allowed. No use including fields that
have as value the empty string.

Save two pieces of protbuf string in the cache to allow
for mod of the response object.

TODO: NOD stuff, tagging, checking of the taggedOnly flag

Things are starting to work, but I'll need to split the cached
protobuf strings to allow for mod of the response.

Merge pull request #9667 from Habbie/docker-readme

docker: add README

Merge pull request #9692 from zeha/pdnsutil-keys

pdnsutil zone key improvements

Merge pull request #9693 from mind04/pdns-upgrade

Auth: make it possible to replace now supported TYPExxx records

Version 1.70 of protozero

Merge pull request #9400 from jsoref/bind-double-slash

BIND: avoid double //

Merge pull request #8970 from kpfleming/clarify-tsigkey-purpose

TSIG Keys are also used for DNSUPDATE, so update API docs

Merge pull request #9695 from zeha/spgsql-comment-typo

spgsql: fix a typo of mine in a comment

spgsql: fix a typo of mine in a comment

tests: update column id in awk use

Docker: ensure caching works

Docker: Add config templating

Merge pull request #9588 from Habbie/circleci-docker-auth

circleci: authenticate to Docker Hub

Merge pull request #9174 from cmouse/tinydns-dup

tinydnsbackend: Ignore duplicate SOA in getAllDomains()

Merge pull request #9685 from Habbie/auth-counters

auth: add some missing counters. Fixes #9675

pdnsutil: add published to list-keys

Merge pull request #9691 from Habbie/auth-regress-old-docs

remove outdated regression docs, fixes #7925

pdnsutil: check for domain existence in (de)activate-tsig-key

pdnsutil: show active flag in list-keys

pdnsutil validate key id when (de)activating

Extend Algorithm field size

startup.py: stop using tabs

dnsdist-resolve: be less verbose by default

remove outdated regression docs, fixes #7925

geoipbackend: accept custom lookup mapping

If for example you want a per country granularity, but still want to
group by custom regions: uk, fr, be -> eu-central, pt, es -> eu-south;
you need to to use %cc and create identical country records. It means
you zones file can become huge and powerdns does not like it too much.

For a user to have a custom mapping without the need to rewrite the
GeoIP database, with this commit, he/she can specify a custom mapping,
so if we get from the GeoIP database fr, we will look in the custom
mapping and find eu-central. So we only need to create the eu-central
record and it will be used by for uk, fr and be as per our first
example.

Definition of mapping_lookup_formats or custom_mapping at the domain
level has priority, but if not defined the global config will be used
as default.

The custom lookup formats and mapping are specified in the zones file:

  ---
  mapping_lookup_formats: ['%cc-%re', '%cc']
  custom_mapping:
    'fr': 'eu-central'
    'be': 'eu-central'
    'es': 'eu-south'
    'pt': 'eu-south'
    'us-ca': 'us-west'
    'us-tx': 'us-south'
  domains:
  - domain: example.com
    services:
      www.example.com: [ '%mp.www.example.com' ]
    records:
      eu-central.www.example.com:
        - A: 1.1.1.1
      eu-south.www.example.com:
        - A: 1.1.1.2
      us-west.www.example.com:
        - A: 1.1.1.3
      us-south.www.example.com:
        - A: 1.1.1.4
  - domain: example2.com
    mapping_lookup_formats: ['%cc']

circleci: authenticate to Docker Hub

auth: add some missing counters. Fixes #9675

Merge pull request #9639 from omoerbeek/rec-negcachetest-clock-ticks

rec: the clock can tick while the negcache test is running.