Docs and setting (edns-padding-out, defaults to "yes").

Implement padding of (DoT) messages to auth

Merge pull request #11889 from FredericDT/master

dnsdist: Add local ComboAddress parameter for SBind() at TeeAction()

Merge pull request #11896 from omoerbeek/rec-11881-followup

Fix build if dnstap is not enabled

Fix build if dnstap is not enabled

Merge pull request #11883 from rgacogne/ddist-optional-rings

dnsdist: Make recording queries/responses in the ringbuffers optional

Merge pull request #11836 from Habbie/catalog-column-order

auth catalog zones: simplify migration schemas by appending columns

Merge pull request #11823 from fredmorcos/handle-lua-script-loading-errors

Handle Lua script loading errors

dnsdist: Deprecated setRingBuffersLockRetries()

Cleanup

Formatting

Handle file-related errors when loading Lua scripts

Merge pull request #11813 from zeha/webnoversion

auth/rec web: stop sending Server: header

Merge pull request #11891 from Habbie/no-install-recommends

builder: add --no-install-recommends to apt-get install

builder: add --no-install-recommends to apt-get install

This was triggered by Ubuntu Kinetic pulling in a version of
systemd-resolved that breaks inside Docker. systemd-resolved
is an indirect (via Recommends somewhere) dependency of devscripts,
which we need.

However, if we were relying on Recommends, that was a bug, so I'm
applying the flag to all distributions.

Not saving ComboAddress d_local in class TeeAction this time

Accoding to https://github.com/PowerDNS/pdns/pull/11889
> rgacogne
> Since we only use the local address in the constructor, I don't think we need to keep it around?
>
> FredericDT
> Possibly using that d_local in statistical function?
>
> rgacogne
> I would prefer not keeping it for now, we can always add it back later when we actually decide to do something with it :)

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Commit docs in pdns/dnsdistdist/docs/rules-actions.rst

The optional parameter `local` shall be added in version 1.8.0

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Drop setLocalBindAddress bool parameter, pass
boost::optional<ComboAddress> instead.

According to https://github.com/PowerDNS/pdns/pull/11889

> An extra boolean flag is no needed for boost::optional<x>

Thanks Moerbeek and Gacogne

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

dnsdist: Commit TeeAction optional local parameter docs and console
    keywords

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Add local ComboAddress parameter for SBind() at TeeAction()

Uasge:
    `addAction(AllRule(), TeeAction("192.0.2.54", false, "192.0.2.53"))`

    In which case, "192.0.2.54" is the ComboAddress of receiver, "192.0.2.53"
    is the ComboAddress of sender.

Signed-off-by: FredericDT <frederic.dt.twh@gmail.com>

Merge pull request #11839 from rgacogne/ddist-ebpf-apparmor-memlock

dnsdist: Document that AppArmor can impact eBPF operations

Merge pull request #11848 from omoerbeek/rec-throttled-maxqperq

rec: Also check qperq limit if throttling happened, as it increases counters.

Merge pull request #11867 from omoerbeek/rec-control-version

rec_control: test for "--version" before requiring an argument.

Merge pull request #11882 from fredmorcos/fred/11731-fix-pdnsutil-query-logging-segfault

Log "NULL" for nullptr-bound properties instead of dereferencing

Merge pull request #11881 from omoerbeek/pb-queueData-log

Reorganize protobuf queueData() with respect to logging

Proces review comments by rgacogne, thanks!

dnsdist: Make recording queries/responses in the ringbuffers optional

Log "NULL" for nullptr-bound properties instead of dereferencing

Fixes the issue where pdnsutil would segfault when query logging is enabled, and would
leave the db unmodified. Surprisingly, the segfault only happened on FreeBSD.

Fixes #11731

Reorganize queueData() with respect to logging.

Let queueData() return a status and log that via a program supplied helper.
This way, the program specific (recursor,dnsdist) logging isn't polluting the common code.

There are a few other cases that need to be dealt with some day.

dnsdist log levels should be reviewed (I copied the existing), they might be too verbose.

use TEXT consistently between pg schema and migration

do sqlite migration without temp table

Merge pull request #11878 from omoerbeek/rec-psa-2022-02-tweaks

PSA 2022-02 tweaks and add PR#'s

PSA 2022-02 tweaks and add PR#'s

Merge pull request #11874 from omoerbeek/rec-pb-size

Rec: check protobuf size

Merge pull request #11873 from omoerbeek/rec-prep-20220823

Rec prep 20220823

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Check variable length cases to not create protobufs > max / 2

Check sizes of generated protobuf messages

Merge pull request #11869 from omoerbeek/rec-maintenance-metrics

rec: Keep time and count metrics when maintenance is called.

Add 2022-02 PSA

These metrics are counters

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11842 from mind04/auth-remotes

auth: use getInnerRemote() for the remotes ring

auth catalog zones: simplify migration schemas by appending columns

Fix MIB, it was missing the objects defs.

rec: Keep time and count metrics when maintenance is called.

Fixes #6981

rec_control: test for "--version" before requiring an argument.

Fixes #11864

Prep for August 23 2022 releases

Merge pull request #11849 from omoerbeek/rec-dns64-vs-rcode

Rec: consider dns64 processing in more cases than Rcode == NoError

Merge pull request #11859 from omoerbeek/rec-incfiles

rec: only include minimized js files and remove unused underscore*.js

Two more DNS64 test cases: "timeout on AAAA" and "Lua handled things"

Merge pull request #11819 from darnuria/auth-tsan-supp

[tsan] add data race suppression for avg_latency and send_latencyres …

[tsan] Data race suppression for avg_latency and send_latency globals.

See <https://github.com/PowerDNS/pdns/issues/11814>

Update pdns/pdns_recursor.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11672 from phonedph1/patch-33

rec: make rec zone files with trailing dot

More consistent naming

Only include files really needed: skip non-mminimzed versions and LICENSE and fix dependencies

Clean up javascript files

- d3.js is actually the minimized verison of d3.v3.js
- introduce minimized version of handlebars
- delete underscore*.js as it is unused

Merge pull request #11857 from omoerbeek/rec-link-libcrypto-rec_control

res: Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcrypto is not in default lib path.

Merge pull request #11852 from rgacogne/ddist-less-contention-servers

dnsdist: Slightly reduce contention around a pool's servers

Merge pull request #11850 from fredmorcos/fred/11795-fix-recursor-not-responsive-after-config-reload

Fix recursor not responsive after Lua config reload

Document desired DNS674 behaviour and tweak implementation to adhere to docs.

Merge pull request #11851 from rgacogne/ddist-doh-only-call-getsockname-once

dnsdist: Only call getsockname() once per incoming DoH connection

dnsdist: Make ServerPolicy::NumberedServerVector const

As suggested by Otto (Thanks!).

Merge pull request #11845 from rgacogne/ddist-better-stats-handling

dnsdist: Better handling of the different types of metrics

Merge pull request #11844 from rgacogne/ddist-destroy-initial-health-mplexer

dnsdist: Do not keep the mplexer created for the initial health-check around

Merge pull request #11798 from rgacogne/ddist-fix-cache-counters-latency

dnsdist: Fix latency and counters update for UDP cache hits

Merge pull request #11790 from rgacogne/ddist-fix-exception-discovery

dnsdist: Use the correct delay when a backend cannot be upgraded to Do{T,H}

Merge pull request #11812 from zeha/recnojquery

Recursor: replace/remove jQuery

Merge pull request #11854 from omoerbeek/rec-slog-ws-followup

rec: structured logging for sebserver followup: An HttpException creates a new response body.

Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcryto is not in default lib path.

Fixes #11855

rec js: use searchParams.append to build URL

rec: split config for fetch out of get_json

Makes for easier development of the embedded JS/HTML files.
To use this, use the commented out fetchConfig, and open index.html
in a browser directly from the filesystem.

An HttpException creates a new response body.

Initialize the s_dlog field of that new response. I would prefer to do that in the
exception's ct, but we do not have the uniqueid there.

Merge pull request #11838 from rgacogne/ddist-fix-cdb-tests

dnsdist: Fix a possible race in the CDB reload regression tests

Rec: Move FrameStreamServersInfo to rec-main

Rec: Asynchronously destroy old connections to dnstap servers

With @omoerbeek

Closes #11795

Rec: Don't reload Lua config if it hasn't changed

This also groups together 1) the list of frame stream servers, 2) the config from which
the list was created and 3) the config's generation into a single struct called
FrameStreamServersInfo. The struct is used to compare the old and new configuration to
decide whether to destroy the old config object or not.

Part of #11795

dnsdist: Slightly reduce contention around a pool's servers

We only need to take the lock to get the shared pointer, as the
actual content is guaranteed not to change, so we do not need to
hold the lock while we iterate over the servers list to check
whether they are up, or what their current outstanding count is.

Transform a AAAA NoData result into a FormErr in Lua and see if dns64 is still applied

Move dns64 processing before postresolve processing

dnsdist: Only call getsockname() once per incoming DoH connection

The current code is calling h2o_socket_getpeername() and
h2o_socket_getsockname() once per DoH _query_, and while the former
is cheap because h2o caches the result for us, the latter is actually
expensive, so this code caches both values so that we only retrieve
them once per DoH connection.

Further simplification of processing of policy result

When considering dns64, we also should consider handling RCodes != 0.

This make the logic as described in RFC 6147, section 5.1

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

Merge pull request #11843 from omoerbeek/rec-authzones-wipe

Clear the caches *after* loading authzones.

dnsdist: Better handling of the different types of metrics

This commit ensures that we don't crash if we forget to update a part of code
if we ever add a new type of metrics, as happened in 9f4fa5ae01efa878d2aa27e4398740d7ed6ef01f.

dnsdist: Do not keep the mplexer created for the initial health-check around

We do not need after that initial health-check round so it is only wasting
(a very small amount of) memory and one file descriptor at that point.

Clear the caches *after* loading authzones.

auth: use getInnerRemote() for the remotes ring

Merge pull request #11830 from asgeirn/dnsdist-4155-enetunreach

Also reconnect on ENETUNREACH.

dnsdist: Mention the need to allow CAP_BPF in the AppArmor policy in the unit file

dnsdist: Document that AppArmor can impact eBPF operations

dnsdist: Fix a possible race in the CDB reload regression tests

Merge pull request #11825 from mind04/pdns-catalog-next

Pdns catalog next

Use stringerror

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11827 from nils-wisiol/clarify_hashing_docs

dnsdist: docs clarification on cookie hashing

Merge pull request #11807 from Habbie/dnsdist-addrule-typo

dnsdist docs: fix addRule typo

auth: fix backend page layout

auth: fix broken link in catalog doc

auth: fix catalogDiff() coverity report