Adapt update policy load to new loadFile semantics, which throws on error.

More strict ENABLE_GSS_TSIG #ifdefs and checking of g_doGSSTSIG.

In some (low level) code, g_doGSSTSIG cannot be used as the code is shared betwen various executables,
but the functionality should be conditional in the higher level processing.

This is a bit tricky to get right, so carefull checks needed.

spelling, review comments

libgss is not needed for build (it provides yet another gssapi implementation), but we use the kerberos provided one.

Found out when trying to build for centos7.

Reinstate AXFR code for GSS-TSIG, respecting global enable flag.

Kill string leaks in processError

Documentation updates: new runtime switch and some clarification for configuring zones.

Add feature printing so it's more easy to check if GSS-TSIG is compiled in.

If the update policy Lua file cannot be read, don't fall back to allow-all policy.

Start kerberos services using docker for regression tests.

Answer can be nullptr, so test for it to avoid null deref.

Add --enable-experimental-gss-tsig for auth build in CI.

Introduce runtime switch `enable-gss-tsig` so that GSS-TSIG is disabled by default even if it is compiled in.

Be more strict on conditional compiling (#ifdef ENABLE_GSS_TSIG), fixing non ENABLE_GSS_TSIG builds.

Add helper to get map counts and remove unneeded error function.

Revert of 9385 (which removed GSS_TSIG functionality) and rebase to master

Reformat according to project settings

We prefer C++ style casts and change NULL into nullptr

Move includes from gss_context.hh to gss_context.cc if possible, remove unused ones and move from boost::shared_ptr to std::shared_ptr.

Protect access to global maps by a mechanic translation to use
LockGuarded. The scopes of the locks should be verified, they might need
to be wider!

Merge pull request #11896 from omoerbeek/rec-11881-followup

Fix build if dnstap is not enabled

Fix build if dnstap is not enabled

Merge pull request #11883 from rgacogne/ddist-optional-rings

dnsdist: Make recording queries/responses in the ringbuffers optional

Merge pull request #11836 from Habbie/catalog-column-order

auth catalog zones: simplify migration schemas by appending columns

Merge pull request #11823 from fredmorcos/handle-lua-script-loading-errors

Handle Lua script loading errors

dnsdist: Deprecated setRingBuffersLockRetries()

Cleanup

Formatting

Handle file-related errors when loading Lua scripts

Merge pull request #11813 from zeha/webnoversion

auth/rec web: stop sending Server: header

Merge pull request #11891 from Habbie/no-install-recommends

builder: add --no-install-recommends to apt-get install

builder: add --no-install-recommends to apt-get install

This was triggered by Ubuntu Kinetic pulling in a version of
systemd-resolved that breaks inside Docker. systemd-resolved
is an indirect (via Recommends somewhere) dependency of devscripts,
which we need.

However, if we were relying on Recommends, that was a bug, so I'm
applying the flag to all distributions.

Merge pull request #11839 from rgacogne/ddist-ebpf-apparmor-memlock

dnsdist: Document that AppArmor can impact eBPF operations

Merge pull request #11848 from omoerbeek/rec-throttled-maxqperq

rec: Also check qperq limit if throttling happened, as it increases counters.

Merge pull request #11867 from omoerbeek/rec-control-version

rec_control: test for "--version" before requiring an argument.

Merge pull request #11882 from fredmorcos/fred/11731-fix-pdnsutil-query-logging-segfault

Log "NULL" for nullptr-bound properties instead of dereferencing

Merge pull request #11881 from omoerbeek/pb-queueData-log

Reorganize protobuf queueData() with respect to logging

Proces review comments by rgacogne, thanks!

dnsdist: Make recording queries/responses in the ringbuffers optional

Log "NULL" for nullptr-bound properties instead of dereferencing

Fixes the issue where pdnsutil would segfault when query logging is enabled, and would
leave the db unmodified. Surprisingly, the segfault only happened on FreeBSD.

Fixes #11731

Reorganize queueData() with respect to logging.

Let queueData() return a status and log that via a program supplied helper.
This way, the program specific (recursor,dnsdist) logging isn't polluting the common code.

There are a few other cases that need to be dealt with some day.

dnsdist log levels should be reviewed (I copied the existing), they might be too verbose.

use TEXT consistently between pg schema and migration

do sqlite migration without temp table

Merge pull request #11878 from omoerbeek/rec-psa-2022-02-tweaks

PSA 2022-02 tweaks and add PR#'s

PSA 2022-02 tweaks and add PR#'s

Merge pull request #11874 from omoerbeek/rec-pb-size

Rec: check protobuf size

Merge pull request #11873 from omoerbeek/rec-prep-20220823

Rec prep 20220823

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Check variable length cases to not create protobufs > max / 2

Check sizes of generated protobuf messages

Merge pull request #11869 from omoerbeek/rec-maintenance-metrics

rec: Keep time and count metrics when maintenance is called.

Add 2022-02 PSA

These metrics are counters

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11842 from mind04/auth-remotes

auth: use getInnerRemote() for the remotes ring

auth catalog zones: simplify migration schemas by appending columns

Fix MIB, it was missing the objects defs.

rec: Keep time and count metrics when maintenance is called.

Fixes #6981

rec_control: test for "--version" before requiring an argument.

Fixes #11864

Prep for August 23 2022 releases

Merge pull request #11849 from omoerbeek/rec-dns64-vs-rcode

Rec: consider dns64 processing in more cases than Rcode == NoError

Merge pull request #11859 from omoerbeek/rec-incfiles

rec: only include minimized js files and remove unused underscore*.js

Two more DNS64 test cases: "timeout on AAAA" and "Lua handled things"

Merge pull request #11819 from darnuria/auth-tsan-supp

[tsan] add data race suppression for avg_latency and send_latencyres …

[tsan] Data race suppression for avg_latency and send_latency globals.

See <https://github.com/PowerDNS/pdns/issues/11814>

Update pdns/pdns_recursor.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11672 from phonedph1/patch-33

rec: make rec zone files with trailing dot

More consistent naming

Only include files really needed: skip non-mminimzed versions and LICENSE and fix dependencies

Clean up javascript files

- d3.js is actually the minimized verison of d3.v3.js
- introduce minimized version of handlebars
- delete underscore*.js as it is unused

Merge pull request #11857 from omoerbeek/rec-link-libcrypto-rec_control

res: Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcrypto is not in default lib path.

Merge pull request #11852 from rgacogne/ddist-less-contention-servers

dnsdist: Slightly reduce contention around a pool's servers

Merge pull request #11850 from fredmorcos/fred/11795-fix-recursor-not-responsive-after-config-reload

Fix recursor not responsive after Lua config reload

Document desired DNS674 behaviour and tweak implementation to adhere to docs.

Merge pull request #11851 from rgacogne/ddist-doh-only-call-getsockname-once

dnsdist: Only call getsockname() once per incoming DoH connection

dnsdist: Make ServerPolicy::NumberedServerVector const

As suggested by Otto (Thanks!).

Merge pull request #11845 from rgacogne/ddist-better-stats-handling

dnsdist: Better handling of the different types of metrics

Merge pull request #11844 from rgacogne/ddist-destroy-initial-health-mplexer

dnsdist: Do not keep the mplexer created for the initial health-check around

Merge pull request #11798 from rgacogne/ddist-fix-cache-counters-latency

dnsdist: Fix latency and counters update for UDP cache hits

Merge pull request #11790 from rgacogne/ddist-fix-exception-discovery

dnsdist: Use the correct delay when a backend cannot be upgraded to Do{T,H}

Merge pull request #11812 from zeha/recnojquery

Recursor: replace/remove jQuery

Merge pull request #11854 from omoerbeek/rec-slog-ws-followup

rec: structured logging for sebserver followup: An HttpException creates a new response body.

Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcryto is not in default lib path.

Fixes #11855

rec js: use searchParams.append to build URL

rec: split config for fetch out of get_json

Makes for easier development of the embedded JS/HTML files.
To use this, use the commented out fetchConfig, and open index.html
in a browser directly from the filesystem.

An HttpException creates a new response body.

Initialize the s_dlog field of that new response. I would prefer to do that in the
exception's ct, but we do not have the uniqueid there.

Merge pull request #11838 from rgacogne/ddist-fix-cdb-tests

dnsdist: Fix a possible race in the CDB reload regression tests

Rec: Move FrameStreamServersInfo to rec-main

Rec: Asynchronously destroy old connections to dnstap servers

With @omoerbeek

Closes #11795

Rec: Don't reload Lua config if it hasn't changed

This also groups together 1) the list of frame stream servers, 2) the config from which
the list was created and 3) the config's generation into a single struct called
FrameStreamServersInfo. The struct is used to compare the old and new configuration to
decide whether to destroy the old config object or not.

Part of #11795

dnsdist: Slightly reduce contention around a pool's servers

We only need to take the lock to get the shared pointer, as the
actual content is guaranteed not to change, so we do not need to
hold the lock while we iterate over the servers list to check
whether they are up, or what their current outstanding count is.

Transform a AAAA NoData result into a FormErr in Lua and see if dns64 is still applied

Move dns64 processing before postresolve processing

dnsdist: Only call getsockname() once per incoming DoH connection

The current code is calling h2o_socket_getpeername() and
h2o_socket_getsockname() once per DoH _query_, and while the former
is cheap because h2o caches the result for us, the latter is actually
expensive, so this code caches both values so that we only retrieve
them once per DoH connection.

Further simplification of processing of policy result

When considering dns64, we also should consider handling RCodes != 0.

This make the logic as described in RFC 6147, section 5.1

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

Merge pull request #11843 from omoerbeek/rec-authzones-wipe

Clear the caches *after* loading authzones.

dnsdist: Better handling of the different types of metrics

This commit ensures that we don't crash if we forget to update a part of code
if we ever add a new type of metrics, as happened in 9f4fa5ae01efa878d2aa27e4398740d7ed6ef01f.

dnsdist: Do not keep the mplexer created for the initial health-check around

We do not need after that initial health-check round so it is only wasting
(a very small amount of) memory and one file descriptor at that point.

Clear the caches *after* loading authzones.

auth: use getInnerRemote() for the remotes ring

Merge pull request #11830 from asgeirn/dnsdist-4155-enetunreach

Also reconnect on ENETUNREACH.

dnsdist: Mention the need to allow CAP_BPF in the AppArmor policy in the unit file

dnsdist: Document that AppArmor can impact eBPF operations