auth-4.7.0-beta2: secpoll and docs

Merge pull request #11508 from klaus-nicat/soa-check-skip-doflag

New setting compare-signatures-on-zone-freshness-check to disable DO flag for SOA checks

Merge pull request #11860 from omoerbeek/auth-macos-libcrypto

Auth: fix libcrypto handling in automake files

Merge pull request #11858 from mind04/auth-sdig-swap

auth: change sdig output order

Merge pull request #11143 from omoerbeek/gssapi

auth: Reintroduce GSS-TSIG processing

Merge pull request #11908 from mind04/auth-zonecache-init

auth: initialize zone cache after dropping privileges

Merge pull request #11906 from omoerbeek/rec-auth-padding

rec: Implement padding of (DoT) messages to auth

Merge pull request #11800 from fredmorcos/log-fix

Log socket directory

Merge pull request #11862 from rgacogne/unfck-openssl-3

libssl: Properly load ciphers and digests with OpenSSL 3.0

auth: initialize zone cache after dropping privileges

Docs and setting (edns-padding-out, defaults to "yes").

Implement padding of (DoT) messages to auth

Merge pull request #11889 from FredericDT/master

dnsdist: Add local ComboAddress parameter for SBind() at TeeAction()

Adapt update policy load to new loadFile semantics, which throws on error.

More strict ENABLE_GSS_TSIG #ifdefs and checking of g_doGSSTSIG.

In some (low level) code, g_doGSSTSIG cannot be used as the code is shared betwen various executables,
but the functionality should be conditional in the higher level processing.

This is a bit tricky to get right, so carefull checks needed.

spelling, review comments

libgss is not needed for build (it provides yet another gssapi implementation), but we use the kerberos provided one.

Found out when trying to build for centos7.

Reinstate AXFR code for GSS-TSIG, respecting global enable flag.

Kill string leaks in processError

Documentation updates: new runtime switch and some clarification for configuring zones.

Add feature printing so it's more easy to check if GSS-TSIG is compiled in.

If the update policy Lua file cannot be read, don't fall back to allow-all policy.

Start kerberos services using docker for regression tests.

Answer can be nullptr, so test for it to avoid null deref.

Add --enable-experimental-gss-tsig for auth build in CI.

Introduce runtime switch `enable-gss-tsig` so that GSS-TSIG is disabled by default even if it is compiled in.

Be more strict on conditional compiling (#ifdef ENABLE_GSS_TSIG), fixing non ENABLE_GSS_TSIG builds.

Add helper to get map counts and remove unneeded error function.

Revert of 9385 (which removed GSS_TSIG functionality) and rebase to master

Reformat according to project settings

We prefer C++ style casts and change NULL into nullptr

Move includes from gss_context.hh to gss_context.cc if possible, remove unused ones and move from boost::shared_ptr to std::shared_ptr.

Protect access to global maps by a mechanic translation to use
LockGuarded. The scopes of the locks should be verified, they might need
to be wider!

Merge pull request #11896 from omoerbeek/rec-11881-followup

Fix build if dnstap is not enabled

Fix build if dnstap is not enabled

Merge pull request #11883 from rgacogne/ddist-optional-rings

dnsdist: Make recording queries/responses in the ringbuffers optional

Merge pull request #11836 from Habbie/catalog-column-order

auth catalog zones: simplify migration schemas by appending columns

Merge pull request #11823 from fredmorcos/handle-lua-script-loading-errors

Handle Lua script loading errors

dnsdist: Deprecated setRingBuffersLockRetries()

Cleanup

Formatting

Handle file-related errors when loading Lua scripts

Merge pull request #11813 from zeha/webnoversion

auth/rec web: stop sending Server: header

Merge pull request #11891 from Habbie/no-install-recommends

builder: add --no-install-recommends to apt-get install

builder: add --no-install-recommends to apt-get install

This was triggered by Ubuntu Kinetic pulling in a version of
systemd-resolved that breaks inside Docker. systemd-resolved
is an indirect (via Recommends somewhere) dependency of devscripts,
which we need.

However, if we were relying on Recommends, that was a bug, so I'm
applying the flag to all distributions.

Not saving ComboAddress d_local in class TeeAction this time

Accoding to https://github.com/PowerDNS/pdns/pull/11889
> rgacogne
> Since we only use the local address in the constructor, I don't think we need to keep it around?
>
> FredericDT
> Possibly using that d_local in statistical function?
>
> rgacogne
> I would prefer not keeping it for now, we can always add it back later when we actually decide to do something with it :)

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Commit docs in pdns/dnsdistdist/docs/rules-actions.rst

The optional parameter `local` shall be added in version 1.8.0

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Drop setLocalBindAddress bool parameter, pass
boost::optional<ComboAddress> instead.

According to https://github.com/PowerDNS/pdns/pull/11889

> An extra boolean flag is no needed for boost::optional<x>

Thanks Moerbeek and Gacogne

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

dnsdist: Commit TeeAction optional local parameter docs and console
    keywords

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Add local ComboAddress parameter for SBind() at TeeAction()

Uasge:
    `addAction(AllRule(), TeeAction("192.0.2.54", false, "192.0.2.53"))`

    In which case, "192.0.2.54" is the ComboAddress of receiver, "192.0.2.53"
    is the ComboAddress of sender.

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Merge pull request #11839 from rgacogne/ddist-ebpf-apparmor-memlock

dnsdist: Document that AppArmor can impact eBPF operations

Merge pull request #11848 from omoerbeek/rec-throttled-maxqperq

rec: Also check qperq limit if throttling happened, as it increases counters.

Merge pull request #11867 from omoerbeek/rec-control-version

rec_control: test for "--version" before requiring an argument.

Merge pull request #11882 from fredmorcos/fred/11731-fix-pdnsutil-query-logging-segfault

Log "NULL" for nullptr-bound properties instead of dereferencing

Merge pull request #11881 from omoerbeek/pb-queueData-log

Reorganize protobuf queueData() with respect to logging

Proces review comments by rgacogne, thanks!

dnsdist: Make recording queries/responses in the ringbuffers optional

Log "NULL" for nullptr-bound properties instead of dereferencing

Fixes the issue where pdnsutil would segfault when query logging is enabled, and would
leave the db unmodified. Surprisingly, the segfault only happened on FreeBSD.

Fixes #11731

Reorganize queueData() with respect to logging.

Let queueData() return a status and log that via a program supplied helper.
This way, the program specific (recursor,dnsdist) logging isn't polluting the common code.

There are a few other cases that need to be dealt with some day.

dnsdist log levels should be reviewed (I copied the existing), they might be too verbose.

use TEXT consistently between pg schema and migration

do sqlite migration without temp table

Merge pull request #11878 from omoerbeek/rec-psa-2022-02-tweaks

PSA 2022-02 tweaks and add PR#'s

PSA 2022-02 tweaks and add PR#'s

Merge pull request #11874 from omoerbeek/rec-pb-size

Rec: check protobuf size

Merge pull request #11873 from omoerbeek/rec-prep-20220823

Rec prep 20220823

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Check variable length cases to not create protobufs > max / 2

Check sizes of generated protobuf messages

Merge pull request #11869 from omoerbeek/rec-maintenance-metrics

rec: Keep time and count metrics when maintenance is called.

Add 2022-02 PSA

These metrics are counters

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11842 from mind04/auth-remotes

auth: use getInnerRemote() for the remotes ring

auth catalog zones: simplify migration schemas by appending columns

Fix MIB, it was missing the objects defs.

rec: Keep time and count metrics when maintenance is called.

Fixes #6981

rec_control: test for "--version" before requiring an argument.

Fixes #11864

Prep for August 23 2022 releases

Merge pull request #11849 from omoerbeek/rec-dns64-vs-rcode

Rec: consider dns64 processing in more cases than Rcode == NoError

Merge pull request #11859 from omoerbeek/rec-incfiles

rec: only include minimized js files and remove unused underscore*.js

Two more DNS64 test cases: "timeout on AAAA" and "Lua handled things"

Merge pull request #11819 from darnuria/auth-tsan-supp

[tsan] add data race suppression for avg_latency and send_latencyres …

[tsan] Data race suppression for avg_latency and send_latency globals.

See <https://github.com/PowerDNS/pdns/issues/11814>

Update pdns/pdns_recursor.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

libssl: Properly load ciphers and digests with OpenSSL 3.0

Since https://github.com/openssl/openssl/commit/661595ca0933fe631faeadd14a189acd5d4185e0
we can no longer rely on the ciphers and digests required for TLS to
be loaded by `OPENSSL_init_ssl()`, so let's give up and load everything.
I hope you have a lot of RAM.

Merge pull request #11672 from phonedph1/patch-33

rec: make rec zone files with trailing dot

Also do odbc backend (tested) and ldap (not completely tested, as it gives
ldap specific errors on MacOS).

More consistent naming

Only include files really needed: skip non-mminimzed versions and LICENSE and fix dependencies

Clean up javascript files

- d3.js is actually the minimized verison of d3.v3.js
- introduce minimized version of handlebars
- delete underscore*.js as it is unused

Fix a bunch of build errors on MacOS related to the location of libcrypto

Merge pull request #11857 from omoerbeek/rec-link-libcrypto-rec_control

res: Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcrypto is not in default lib path.

Merge pull request #11852 from rgacogne/ddist-less-contention-servers

dnsdist: Slightly reduce contention around a pool's servers

Merge pull request #11850 from fredmorcos/fred/11795-fix-recursor-not-responsive-after-config-reload

Fix recursor not responsive after Lua config reload

Document desired DNS674 behaviour and tweak implementation to adhere to docs.

Merge pull request #11851 from rgacogne/ddist-doh-only-call-getsockname-once

dnsdist: Only call getsockname() once per incoming DoH connection

auth: change sdig output to zonefile order

dnsdist: Make ServerPolicy::NumberedServerVector const

As suggested by Otto (Thanks!).

Merge pull request #11845 from rgacogne/ddist-better-stats-handling

dnsdist: Better handling of the different types of metrics

Merge pull request #11844 from rgacogne/ddist-destroy-initial-health-mplexer

dnsdist: Do not keep the mplexer created for the initial health-check around

Merge pull request #11798 from rgacogne/ddist-fix-cache-counters-latency

dnsdist: Fix latency and counters update for UDP cache hits

Merge pull request #11790 from rgacogne/ddist-fix-exception-discovery

dnsdist: Use the correct delay when a backend cannot be upgraded to Do{T,H}

Merge pull request #11812 from zeha/recnojquery

Recursor: replace/remove jQuery

Merge pull request #11854 from omoerbeek/rec-slog-ws-followup

rec: structured logging for sebserver followup: An HttpException creates a new response body.

Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcryto is not in default lib path.

Fixes #11855